CN113760087A - 命中点位置信息的确定方法和装置 - Google Patents

命中点位置信息的确定方法和装置 Download PDF

Info

Publication number
CN113760087A
CN113760087A CN202110171856.5A CN202110171856A CN113760087A CN 113760087 A CN113760087 A CN 113760087A CN 202110171856 A CN202110171856 A CN 202110171856A CN 113760087 A CN113760087 A CN 113760087A
Authority
CN
China
Prior art keywords
position information
point
information
hit
virtual plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110171856.5A
Other languages
English (en)
Other versions
CN113760087B (zh
Inventor
李彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110171856.5A priority Critical patent/CN113760087B/zh
Publication of CN113760087A publication Critical patent/CN113760087A/zh
Application granted granted Critical
Publication of CN113760087B publication Critical patent/CN113760087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种命中点位置信息的确定方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；接收针对所述摄像设备拍摄的当前图像的选择指令；根据所述选择指令，确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。该实施方式能够减少命中点检测所需的时间。

Description

命中点位置信息的确定方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种命中点位置信息的确定方法和装置。
背景技术
当前实现AR(Augmented Reality，增强现实)交互的方式为：对摄像设备获取到的每帧图像，进行平面检测，在检测到的平面上进行命中测试，以检测平面上是否存在命中点。若命中测试存在有效结果，则从该有效结果中获取命中点的位置信息。根据命中点的位置信息，实现用户与真实世界的信息交互。但由于环境情况或用户操作不熟练等因素，命中点的检测时间往往较长，影响了用户的使用体验。
发明内容
有鉴于此，本发明实施例提供一种命中点位置信息的确定方法和装置，能够减少检测命中点所需的时间。
第一方面，本发明实施例提供了一种命中点位置信息的确定方法，包括：
根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；
接收针对所述摄像设备拍摄的当前图像的选择指令；
根据所述选择指令，确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；
根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。
可选地，所述根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面，包括：
根据摄像设备的场景信息，确定所述虚拟平面的法线信息及所述虚拟平面中的点位置信息；
根据所述法线信息及所述点位置信息，在所述摄像设备前方构建虚拟平面。
可选地，所述场景信息包括：所述摄像设备的设备位置信息及所述摄像设备的观察位置信息，所述确定所述虚拟平面的法线信息及所述虚拟平面中的点位置信息，包括：
获取所述摄像设备的设备位置信息及所述摄像设备的观察位置信息；
根据所述设备位置信息及所述观察位置信息，确定所述摄像设备的观察方向信息；
根据所述观察方向信息，确定所述法线信息；
根据所述设备位置信息及所述法线信息，确定所述点位置信息。
可选地，所述场景信息包括：所述摄像设备的上一命中点的位置信息，所述根据摄像设备的场景信息，确定所述虚拟平面的法线信息及所述虚拟平面中的点位置信息，包括：
获取所述摄像设备的上一命中点的位置信息；
根据所述上一命中点的位置信息，确定所述法线信息及所述点位置信息。
可选地，所述得到所述目标点在所述虚拟平面上的命中点位置信息，包括：
确定所述摄像设备的相机射线与所述虚拟平面之间的交点的位置信息，所述相机射线通过所述目标点；
将所述交点的位置信息确定为所述目标点在所述虚拟平面上的命中点的位置信息。
可选地，所述根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面之前，还包括：
确定当前应用信息；
判断所述当前应用信息是否符合预设应用场景，所述预设应用场景包括以下至少之一：本次命中测试为首次命中测试、本次命中测试的测试结果中不存在有效的命中点信息及本次命中测试的执行时间超过时间阈值；
若是，则执行所述根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面的步骤。
可选地，所述根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，包括：
获取所述摄像设备的至少一个之前命中点的位置信息；
根据所述之前命中点的位置信息及所述虚拟平面上的命中点的位置信息，生成所述目标点在所述虚拟空间的命中点位置信息。
第二方面，本发明实施例提供了一种命中点位置信息的确定装置，包括：
平面生成模块，用于根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；
指令接收模块，用于接收针对所述摄像设备拍摄的当前图像的选择指令；
命中点确定模块，用于根据所述选择指令，确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；
结果确定模块，用于根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。
第三方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面，在虚拟平面中确定目标点的命中点，而无需在系统检测的平面中确定目标点的命中点。由于在图像中检测平面往往需要较长时间，且可能存在多个平面或未检测到平面等多种情形。因此，直接在虚拟平面中确定命中点，能够减少命中点的检测时间，进而提升命中测试的执行效率，提高用户对于摄像设备的使用体验。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明一个实施例提供的一种命中点位置信息的确定方法的应用场景的示意图；
图2是本发明的一个实施例提供的一种命中点位置信息的确定方法的流程的示意图；
图3是本发明的一个实施例提供的另一种命中点位置信息的确定方法的流程的示意图；
图4是本发明的一个实施例提供的又一种命中点位置信息的确定方法的流程的示意图；
图5是本发明的一个实施例提供的再一种命中点位置信息的确定方法的流程的示意图；
图6是本发明的一个实施例提供的一种命中点位置信息的确定装置的结构示意图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本发明一个实施例提供的一种命中点位置信息的确定方法的应用场景的示意图。如图1所示，本发明实施例的命中点位置信息的确定方法可应用于具有摄像功能的终端设备101中。终端设备101可以是手机、笔记本、平板电脑、膝上型便携计算机、服务器等等。
在终端设备101前方构建虚拟平面102；在终端设备101拍摄的当前图像中选定目标点，并确定目标点在虚拟平面上的命中点103；根据虚拟平面上的命中点103的位置信息，确定目标点对应的本次命中测试的测试结果。
可通过任何终端设备101支持的交互方式，在终端设备101拍摄的当前图像中选定目标点。例如，可通过鼠标选定、语音识别及触摸等方式从终端设备101拍摄的当前图像中选定目标点。
需要说明的是，本发明实施例所提供的命中点位置信息的确定方法一般由终端设备101执行，相应地，命中点位置信息的确定装置一般设置于终端设备101中。
图2是本发明的一个实施例提供的一种命中点位置信息的确定方法的流程的示意图，如图2所示，该方法包括：
步骤201：根据摄像设备的场景信息，在摄像设备前方构建虚拟平面。
虚拟平面并非真实存在的平面，虚拟平面式是真实平面在虚拟空间的模拟平面。虚拟空间为摄像设备扫描当前环境建立的空间。可根据摄像设备所在场景的场景信息创建虚拟平面。场景信息可包括：摄像设备的配置信息、摄像设备的位置信息、当前环境信息、历史命中测试结果及经验信息等。
在摄像设备前方构建虚拟平面指，以摄像设备所在位置为基准，在摄像设备拍摄的当前图像的同一侧构建虚拟平面。
在本发明的一个实施例中，根据摄像设备的场景信息，在摄像设备前方构建虚拟平面，包括：
确定虚拟平面的法线信息及虚拟平面中的点位置信息；
根据法线信息及点位置信息，根据摄像设备的场景信息，在摄像设备前方构建虚拟平面。
在确定出虚拟平面的法线信息及点位置信息后，即可根据点法式方程来构建虚拟平面。
步骤202：接收针对摄像设备拍摄的当前图像的选择指令。
步骤203：根据选择指令，确定位于当前图像上的目标点，以得到目标点在虚拟平面上的命中点的位置信息。
命中点为目标点在虚拟平面上的对应点。同一目标点在虚拟平面上至多存在一个命中点。不同目标点具有不同的命中点。
步骤204：根据虚拟平面上的命中点的位置信息，生成目标点在虚拟空间的命中点位置信息，虚拟空间为摄像设备扫描当前环境建立的空间。
根据虚拟平面上的命中点的位置信息，确定目标点在虚拟空间的命中点位置信息。虚拟空间为摄像设备扫描当前环境建立的空间。当前环境中存在者诸多真实平面，例如：桌面、地面等。这些真实平面在虚拟空间中也存在着对应平面。目标点在虚拟空间的命中点为目标点在这些对应平面上的命中点。通过确定目标点在这些对应平面上的命中点，可以实现应用中所需的AR交互方式。
在本发明实施例中，根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面，在虚拟平面中确定目标点的命中点，而无需在系统检测的平面中确定目标点的命中点。因此，能够解决现有技术中命中测试的执行时间较长的问题。
图3是本发明的一个实施例提供的一种命中点位置信息的确定方法的流程的示意图，如图3所示，该方法包括：
步骤301：获取摄像设备的设备位置信息及摄像设备的观察位置信息。
设备位置用于表征摄像设备的拍摄位置。一般地，可应用摄像设备中的摄像头所在位置表示设备位置。
观察位置用于表征摄像设备观察方向的信息。一般地，观察位置可以根据摄像设备的相关参数计算得到。
步骤302：根据设备位置信息及观察位置信息，确定法线信息及点位置信息。
步骤303：根据法线信息及点位置信息，在摄像设备前方构建虚拟平面。
步骤304：确定摄像设备的相机射线与虚拟平面之间的交点，相机射线通过目标点。
步骤305：根据交点的位置信息，生成目标点在虚拟空间的命中点位置信息。
以下以一个具体实施例，来详细讲解本发明实施例的方法。假设设备位置为Pcam，观察位置为PTarget，可通过如下计算公式得观察方向VLook(xLook,yLook,zLook)：
VLook＝PTarget-Pcam。
将观察方向投影到水平面并归一化，可通过如下公式得到虚拟平面的法线向量VN：
VN＝Normalize(xLook,0,zLook)。
设置虚拟平面与摄像设备的距离值，可根据摄像设备的配置信息、摄像设备的位置信息、当前环境信息、历史命中测试结果及经验信息确定距离值的，如d的取值可以为1到5米，从而得到虚拟平面上一点Pv：
Pv＝Pcam-dVN。
将Pv和VN带入如下的点法式方程：
A(x-x0)+B(y-y0)+C(z-z0)＝0，
其中，A、B、C的取值分别为VN的三个坐标值，x0、y0、z0的取值分别Pv的三个坐标值，从而创建出虚拟屏面Sv。
创建虚拟平面之后，进行一次命中测试，联立相机射线与虚拟平面的方程组，可得到交点：
Figure BDA0002939175200000081
其中，上述方程组的第一个方程为创建的虚拟平面的方程，上述方程组的第二个方程为相机射线的点向式方程。x1、y1、z1的取值分别设备位置Pcam的三个坐标值，(a，b，c)为直线的方向向量，其取值可以分别为VN的三个坐标值。将该交点确定为目标点在虚拟平面上的命中点，并将指示器放置在该交点，根据虚拟屏面的法向量调整指示器朝向。
在本发明实施例中，根据设备位置信息及观察位置信息，在摄像设备前方构建虚拟平面，在虚拟平面上，进行命中测试，确定目标点的命中点，加快命中测试的执行速度。
需要说明的是，本发明实施例的方法尤其适合于打开AR应用后，首次获取命中坐标。从打开AR应用到第一次获取到有效命中坐标会经过一段时间，根据环境情况与用户操作熟练度不同，该过程可能持续若干秒至几十秒，这段时间指示器无法准确定位。本发明实施例在初次打开AR应用后，在摄像设备前方创建初始虚拟平面，可使系统快速获取到有效命中点，减少用户的等待时间。
图4是本发明的一个实施例提供的一种命中点位置信息的确定方法的流程的示意图，如图4所示，该方法包括：
步骤401：获取摄像设备的上一命中点的位置信息。
步骤402：根据上一命中点的位置信息，确定法线信息及点位置信息。
步骤403：根据法线信息及点位置信息，在摄像设备前方构建虚拟平面。
步骤404：确定摄像设备的相机射线与虚拟平面之间的交点，相机射线通过目标点。
步骤405：根据交点的位置信息，生成目标点在虚拟空间的命中点位置信息。
从命中测试的测试结果中可获取面的法向量及命中点的位置信息。可记录下面法向量Nhit与命中点位置信息Phit，并以检测的每帧图像为单位更新法向量机命中点位置信息，直到发生命中测试失败的情况。
命中测试失败可能的原因一般有两种：失去真实环境平面或者虽然还能检测到面但命中测试失败。为解决此问题，采取了创建虚拟屏面的方法：使用记录的上一次命中测试的数据Nhit和Phit带入点法式创建虚拟平面SE，之后在虚拟平面SE上进行命中测试。
在本发明实施例中，根据上一次命中测试的测试结果，创建虚拟平面。本发明实施例的方面尤其适用于执行现有技术中的命中测试失败的情况。在扫描过程中命中测试可能会失败，指示器位置会卡在原处，无法跟随相机镜头移动。
应用本发明实施例的方法，一方面，由于虚拟平面与上一次检测到的真实平面位置相同，可以保证指示器由真实平面平滑的移动到拓展平面上。另一发明，在命中测试失败或者命中测试执行时间过长的情况下，都可使系统快速获取到有效的命中点信息。
在本发明的一个实施例中，根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面之前，还包括：
确定当前应用信息；
判断当前应用信息是否符合预设应用场景，预设应用场景包括以下至少之一：本次命中测试为首次命中测试、本次命中测试的测试结果中不存在有效的命中点信息及本次命中测试的执行时间超过时间阈值；
若是，则执行根据摄像设备的场景信息，在摄像设备前方构建虚拟平面的步骤。
时间阈值可根据具体需求进行设定。在本次命中测试为首次命中测试、本次命中测试的测试结果中不存在有效的命中点信息及本次命中测试的执行时间超过时间阈值的情况下，通过本发明实施例的方法，可使系统快速获取到有效的命中点信息，减少系统卡顿情况的发生，提升用户对于AR应用的使用体验。
在本发明的一个实施例中，根据虚拟平面上的命中点的位置信息，确定目标点对应的本次命中测试的测试结果，包括：
获取所述摄像设备的至少一个之前命中点的位置信息；
根据所述之前命中点的位置信息及所述虚拟平面上的命中点的位置信息，生成所述目标点在所述虚拟空间的命中点位置信息。
一般会将一个模型位置指示器放置在命中点，以指示模型将会出现的位置。若直接采用虚拟平面上的命中点的位置信息作为本次命中测试中的命中点的位置信息，容易因误差出现指示器抖动和位置跳变。
本发明实施例中的之前命中点可以为前一次命中测试确定的命中点、前两次命中测试确定的命中点、前三次命中测试确定的命中点等。可通过计算各命中位置信息加权和、均值及插值法等，来确定本次命中测试的命中点位置，使命中点以平滑的方式，而不是跳变的方式移动，从而减小数据的误差与抖动，使指示器移动不会出现跳变而是平滑移动，
举例来说，需要将当前位置与前两次的命中位置进行插值计算，设P0、P1、P2分别为本次、前一次和更前一次的命中点坐标，采用如下插值方法计算本次命中测试中的命中点的坐标信息：
P＝(1-λ)2P0+2λ(1-λ)P1+λ2P2。
其中，0≤λ≤1，可根据具体需求设定λ的取值，并将最后的插值结果作为本次命中测试中的命中点的位置信息，可保证指示器的平滑移动。
图5是本发明的一个实施例提供的再一种命中点位置信息的确定方法的流程的示意图。如图5所示，本发明实施例提供了一种利用虚拟平面改善ARCore命中测试执行效率的方法。在AR应用启动后，首先会在摄像设备前方创建虚拟预估垂面，并在预估面上进行命中测试放置指示器。通过预估面上进行命中测试，直到ARCore命中测试成功为止。在ARCore命中测试成功后，转为使用ARCore命中测试的测试结果放置指示器。此后，如果出现ARCore检测失败时，则利用上一ARCor e命中测试结果创建虚拟拓展垂面，并在该虚拟拓展垂面上进行命中测试。每次放置指示器时，使用插值计算命中点的位置数据，以使指示器平滑移动。
需要说明的是，图5中的预估垂面及拓展垂面都可看做本发明实施例中的虚拟平面。此外，本发明实施例的方法适用于所有相关的AR系统或AR应用中，如ARCore、ARKit、AREngine等。
图6是本发明的一个实施例提供的一种命中点位置信息的确定装置的结构示意图，包括：
平面生成模块601，用于根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；
指令接收模块602，用于接收针对所述摄像设备拍摄的当前图像的选择指令；
命中点确定模块603，用于确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；
结果确定模块604，用于根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。
可选地，平面生成模块601具体用于：
根据摄像设备的场景信息，确定虚拟平面的法线信息及虚拟平面中的点位置信息；
根据法线信息及点位置信息，根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面。
可选地，平面生成模块601具体用于：
获取摄像设备的设备位置信息及摄像设备的观察位置信息；
根据设备位置信息及观察位置信息，确定摄像设备的观察方向信息；
根据观察方向信息，确定法线信息；
根据设备位置信息及观察方向信息，确定点位置信息。
可选地，平面生成模块601具体用于：
获取所述摄像设备的上一命中点的位置信息；
根据所述上一命中点的位置信息，确定所述法线信息及所述点位置信息。
可选地，命中点确定模块603具体用于：
确定摄像设备的相机射线与虚拟平面之间的交点，相机射线通过目标点；
将交点确定为目标点在虚拟平面上的命中点。
可选地，还包括：
场景判断模块605，用于确定当前应用信息；
判断当前应用信息是否符合预设应用场景，预设应用场景包括以下至少之一：本次命中测试为首次命中测试、本次命中测试的测试结果中不存在有效的命中点信息及本次命中测试的执行时间超过时间阈值；
若是，则执行根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面的步骤。
可选地，结果确定模块604具体用于：
获取所述摄像设备的至少一个之前命中点的位置信息；
根据所述之前命中点的位置信息及所述虚拟平面上的命中点的位置信息，生成所述目标点在所述虚拟空间的命中点位置信息。
本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一实施例的方法。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CP U)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括平面生成模块、指令接收模块、命中点确定模块、结果确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，平面生成模块还可以被描述为“根据摄像设备的场景信息，在摄像设备前方构建虚拟平面的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；
接收针对所述摄像设备拍摄的当前图像的选择指令；
根据所述选择指令，确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；
根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。
根据本发明实施例的技术方案，根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面，在虚拟平面中确定目标点的命中点，而无需在系统检测的平面中确定目标点的命中点。因此，能够减少获取命中点的位置信息的时间，提高用户对于摄像设备的使用体验。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种命中点位置信息的确定方法，其特征在于，包括：
根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；
接收针对所述摄像设备拍摄的当前图像的选择指令；
根据所述选择指令，确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；
根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。
2.根据权利要求1所述的方法，其特征在于，所述根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面，包括：
根据摄像设备的场景信息，确定所述虚拟平面的法线信息及所述虚拟平面中的点位置信息；
根据所述法线信息及所述点位置信息，在所述摄像设备前方构建虚拟平面。
3.根据权利要求2所述的方法，其特征在于，所述场景信息包括：所述摄像设备的设备位置信息及所述摄像设备的观察位置信息，所述根据摄像设备的场景信息，确定所述虚拟平面的法线信息及所述虚拟平面中的点位置信息，包括：
获取所述摄像设备的设备位置信息及所述摄像设备的观察位置信息；
根据所述设备位置信息及所述观察位置信息，确定所述摄像设备的观察方向信息；
根据所述观察方向信息，确定所述法线信息；
根据所述设备位置信息及所述法线信息，确定所述点位置信息。
4.根据权利要求2所述的方法，其特征在于，所述场景信息包括：所述摄像设备的上一命中点的位置信息，所述根据摄像设备的场景信息，确定所述虚拟平面的法线信息及所述虚拟平面中的点位置信息，包括：
获取所述摄像设备的上一命中点的位置信息；
根据所述上一命中点的位置信息，确定所述法线信息及所述点位置信息。
5.根据权利要求1所述的方法，其特征在于，所述得到所述目标点在所述虚拟平面上的命中点位置信息，包括：
确定所述摄像设备的相机射线与所述虚拟平面之间的交点的位置信息，所述相机射线通过所述目标点；
将所述交点的位置信息确定为所述目标点在所述虚拟平面上的命中点的位置信息。
6.根据权利要求1所述的方法，其特征在于，所述根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面之前，还包括：
确定当前应用信息；
判断所述当前应用信息是否符合预设应用场景，所述预设应用场景包括以下至少之一：本次命中测试为首次命中测试、本次命中测试的测试结果中不存在有效的命中点信息及本次命中测试的执行时间超过时间阈值；
若是，则执行所述根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面的步骤。
7.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，包括：
获取所述摄像设备的至少一个之前命中点的位置信息；
根据所述之前命中点的位置信息及所述虚拟平面上的命中点的位置信息，生成所述目标点在所述虚拟空间的命中点位置信息。
8.一种命中点位置信息的确定装置，其特征在于，包括：
平面生成模块，用于根据摄像设备的场景信息，在所述摄像设备前方构建虚拟平面；
指令接收模块，用于接收针对所述摄像设备拍摄的当前图像的选择指令；
命中点确定模块，用于根据所述选择指令，确定位于所述当前图像上的目标点，以得到所述目标点在所述虚拟平面上的命中点的位置信息；
结果确定模块，用于根据所述虚拟平面上的命中点的位置信息，生成所述目标点在虚拟空间的命中点位置信息，所述虚拟空间为所述摄像设备扫描当前环境建立的空间。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110171856.5A 2021-02-08 2021-02-08 命中点位置信息的确定方法和装置 Active CN113760087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110171856.5A CN113760087B (zh) 2021-02-08 2021-02-08 命中点位置信息的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171856.5A CN113760087B (zh) 2021-02-08 2021-02-08 命中点位置信息的确定方法和装置

Publications (2)

Publication Number Publication Date
CN113760087A true CN113760087A (zh) 2021-12-07
CN113760087B CN113760087B (zh) 2024-10-18

Family

ID=78786585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171856.5A Active CN113760087B (zh) 2021-02-08 2021-02-08 命中点位置信息的确定方法和装置

Country Status (1)

Country Link
CN (1) CN113760087B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564106A (zh) * 2022-02-25 2022-05-31 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961423A (zh) * 2018-07-03 2018-12-07 百度在线网络技术（北京）有限公司 虚拟信息处理方法、装置、设备及存储介质
US20190004684A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Annotation using a multi-device mixed interactivity system
WO2019020022A1 (zh) * 2017-07-28 2019-01-31 腾讯科技（深圳）有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
US20190180486A1 (en) * 2017-12-12 2019-06-13 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for displaying image
CN111161396A (zh) * 2019-11-19 2020-05-15 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN111862333A (zh) * 2019-04-28 2020-10-30 广东虚拟现实科技有限公司 基于增强现实的内容处理方法、装置、终端设备及存储介质
CN111862349A (zh) * 2019-04-26 2020-10-30 北京字节跳动网络技术有限公司 虚拟画笔实现方法、装置和计算机可读存储介质
CN112039937A (zh) * 2019-06-03 2020-12-04 华为技术有限公司 一种显示方法、位置确定方法及装置
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112286362A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 真实环境画面中虚拟道具的显示方法、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190004684A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Annotation using a multi-device mixed interactivity system
WO2019020022A1 (zh) * 2017-07-28 2019-01-31 腾讯科技（深圳）有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
US20190180486A1 (en) * 2017-12-12 2019-06-13 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for displaying image
CN108961423A (zh) * 2018-07-03 2018-12-07 百度在线网络技术（北京）有限公司 虚拟信息处理方法、装置、设备及存储介质
CN111862349A (zh) * 2019-04-26 2020-10-30 北京字节跳动网络技术有限公司 虚拟画笔实现方法、装置和计算机可读存储介质
CN111862333A (zh) * 2019-04-28 2020-10-30 广东虚拟现实科技有限公司 基于增强现实的内容处理方法、装置、终端设备及存储介质
CN112039937A (zh) * 2019-06-03 2020-12-04 华为技术有限公司 一种显示方法、位置确定方法及装置
CN111161396A (zh) * 2019-11-19 2020-05-15 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112286362A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 真实环境画面中虚拟道具的显示方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564106A (zh) * 2022-02-25 2022-05-31 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质
CN114564106B (zh) * 2022-02-25 2023-11-28 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113760087B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN109344755B (zh) 视频动作的识别方法、装置、设备及存储介质
CN108765340B (zh) 模糊图像处理方法、装置及终端设备
US11915447B2 (en) Audio acquisition device positioning method and apparatus, and speaker recognition method and system
CN110363748B (zh) 关键点的抖动处理方法、装置、介质及电子设备
CN113537374B (zh) 一种对抗样本生成方法
CN113691733B (zh) 视频抖动检测方法、装置、电子设备和存储介质
CN109472824B (zh) 物品位置变化检测方法及装置、存储介质、电子设备
CN112732553B (zh) 图像测试方法、装置、电子设备及存储介质
CN112994980B (zh) 时延测试方法、装置、电子设备和存储介质
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
JP2018026815A (ja) 映像通話品質測定方法およびシステム
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN113760087B (zh) 命中点位置信息的确定方法和装置
CN106919260B (zh) 网页操作方法和装置
CN111382643B (zh) 一种手势检测方法、装置、设备及存储介质
CN111063011B (zh) 一种人脸图像处理方法、装置、设备和介质
WO2023179342A1 (zh) 重定位方法及相关设备
CN117274370A (zh) 三维位姿确定方法、装置、电子设备和介质
KR102595678B1 (ko) 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼
CN113780045B (zh) 用于训练距离预测模型的方法和装置
CN111986230B (zh) 一种视频中目标物的姿态跟踪方法及装置
CN114639056A (zh) 直播内容的识别方法、装置、计算机设备及存储介质
CN111199179B (zh) 目标对象的跟踪方法、终端设备及介质
CN112559340A (zh) 一种画面测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant