CN108022306B - 基于增强现实的场景识别方法、装置、存储介质和设备 - Google Patents
基于增强现实的场景识别方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN108022306B CN108022306B CN201711488143.1A CN201711488143A CN108022306B CN 108022306 B CN108022306 B CN 108022306B CN 201711488143 A CN201711488143 A CN 201711488143A CN 108022306 B CN108022306 B CN 108022306B
- Authority
- CN
- China
- Prior art keywords
- displayed
- information
- screen
- virtual information
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于增强现实的场景识别方法、装置、存储介质和设备。该方法包括：调用深度摄像头拍摄目标场景，得到目标场景的空间三维信息；根据目标场景的空间三维信息获取待显示虚拟信息及待显示虚拟信息在屏幕上的待显示位置；根据待显示虚拟信息和对应的待显示位置，生成用于控制在屏幕的待显示位置处显示对应待显示虚拟信息的显示指令；将显示指令和待显示虚拟信息发送至屏幕。通过基于目标场景的空间三维信息获取待显示虚拟信息和待显示位置，控制直接在屏幕的待显示位置显示待虚拟信息，不需要在屏幕显示拍摄目标场景的虚拟画面，使用户观看屏幕时可裸眼感受屏幕上显示的虚拟信息与透过屏幕看到的现实的目标场景的补充叠加，视觉效果好。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于增强现实的场景识别方法、装置、存储介质和设备。
背景技术
增强现实是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。通过增强现实，可以把原本在现实世界的一定时间空间范围内很难体验到的虚拟信息模拟仿真后叠加在实景拍摄的影像中，使得真实的环境和虚拟信息实时地叠加到同一个画面或空间同时存在。增强现实普遍应用于场景识别，例如，增强现实眼镜是在眼镜上安装摄像头、镜片上设置屏幕的基于增强现实的眼镜，用户佩戴增强现实眼镜，在看到真实环境的同时，可以在屏幕上看到叠加的虚拟信息。
传统基于增强现实的场景识别大多是直接采集摄像头拍摄的画面投射于屏幕上，根据屏幕的图像进行识别并匹配虚拟信息，将虚拟信息叠加在屏幕上。而增强现实使用的屏幕一般需看到外界，为半透明材质，人眼通过屏幕看画面时会看到屏幕后面的真实环境，虚拟画面、真实场景的重复叠加会造成人眼辨别费力且易出错，视觉效果差；而如果在使用深色或透明度低的屏幕，虽然可解决虚实混叠的问题，在屏幕上看的更加清晰，但与真实环境脱离，背离了增强现实的设计初衷。
发明内容
基于此，有必要针对传统的基于增强现实的场景识别视觉效果差的问题，提供一种优化视觉效果的基于增强现实的场景识别方法、装置、存储介质和设备。
一种基于增强现实的场景识别方法，包括：
调用深度摄像头拍摄目标场景，得到所述目标场景的空间三维信息；
根据所述目标场景的空间三维信息获取待显示虚拟信息及所述待显示虚拟信息在屏幕上的待显示位置；
根据所述待显示虚拟信息和对应的待显示位置，生成用于控制在所述屏幕的所述待显示位置处显示对应待显示虚拟信息的显示指令；
将所述显示指令和所述待显示虚拟信息发送至所述屏幕。
一种基于增强现实的场景识别装置，包括：
空间三维信息获取模块，用于调用深度摄像头拍摄目标场景，得到所述目标场景的空间三维信息；
信息及位置获取模块，用于根据所述目标场景的空间三维信息获取待显示虚拟信息及所述待显示虚拟信息在屏幕上的待显示位置；
显示指令生成模块，用于根据所述待显示虚拟信息和对应的待显示位置，生成用于控制在所述屏幕的所述待显示位置处显示对应待显示虚拟信息的显示指令；
指令发送模块，用于将所述显示指令和所述待显示虚拟信息发送至所述屏幕。
上述基于增强现实的场景识别方法和装置，先调用深度摄像头拍摄目标场景得到目标场景的空间三维信息，根据目标场景的空间三维信息获取待显示虚拟信息及待显示虚拟信息在屏幕上的待显示位置，再根据待显示虚拟信息和对应的待显示位置生成显示指令，并将显示指令和待显示虚拟信息发送至屏幕，用于控制在屏幕的待显示位置处显示对应待显示虚拟信息。通过基于目标场景的空间三维信息获取待显示虚拟信息和待显示位置，控制直接在屏幕的待显示位置显示待虚拟信息，而不需要在屏幕显示拍摄目标场景的虚拟画面，使得用户观看屏幕时，可裸眼感受屏幕上显示的虚拟信息与透过屏幕看到的现实的目标场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。
一种存储介质，存储有计算机程序，存储的计算机程序被处理器执行时实现上述基于增强现实的场景识别方法的步骤。
一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于增强现实的场景识别方法的步骤。
上述存储介质和设备，由于实现了上述基于增强现实的场景识别方法的步骤，同理可使得用户观看屏幕时，可裸眼感受屏幕上显示的虚拟信息与透过屏幕看到的现实的目标场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。
附图说明
图1为一实施例中基于增强现实的场景识别方法的流程图；
图2为另一实施例中基于增强现实的场景识别方法的流程图；
图3为5点标定图的示意图；
图4为又一实施例中基于增强现实的场景识别方法的流程图；
图5为一实施例中基于增强现实的场景识别装置的结构图。
具体实施方式
参考图1，在一个实施例中，提供一种基于增强现实的场景识别方法，可以应用于增强现实眼镜。基于增强现实的场景识别方法包括如下步骤：
S110：调用深度摄像头拍摄目标场景，得到目标场景的空间三维信息。
深度摄像头用于获取被拍摄对象的深度信息以得到空间三维信息。通过调用深度摄像头拍摄目标场景，以采集得到目标场景的空间三维信息。
S130：根据目标场景的空间三维信息获取待显示虚拟信息及待显示虚拟信息在屏幕上的待显示位置。
屏幕是基于增强现实的场景识别中用于显示画面或信息的显示屏幕。例如，对于增强现实眼镜，屏幕设置在镜片。待显示虚拟信息是对目标场景进行场景识别需要叠加显示的虚拟信息；待显示位置是待显示虚拟信息需要在屏幕上显示的位置。其中，待显示虚拟信息包括计算机图像信息和/或实时数据。待显示虚拟信息的数量可以有多个。
S150：根据待显示虚拟信息和对应的待显示位置，生成用于控制在屏幕的待显示位置处显示对应待显示虚拟信息的显示指令。
S170：将显示指令和待显示虚拟信息发送至屏幕。
将显示指令和待显示虚拟信息发送至屏幕，可以控制屏幕在待显示位置处显示对应的待显示虚拟信息。具体地，一个待显示虚拟信息对应一个待显示位置；若待显示虚拟信息的数量为多个，则显示指令控制屏幕在不同的待显示位置处显示与当前的待显示位置对应的待显示信息。
上述基于增强现实的场景识别方法，先调用深度摄像头拍摄目标场景得到目标场景的空间三维信息，根据目标场景的空间三维信息获取待显示虚拟信息及待显示虚拟信息在屏幕上的待显示位置，再根据待显示虚拟信息和对应的待显示位置生成显示指令，并将显示指令和待显示虚拟信息发送至屏幕，用于控制在屏幕的待显示位置处显示对应待显示虚拟信息。通过基于目标场景的空间三维信息获取待显示虚拟信息和待显示位置，控制直接在屏幕的待显示位置显示待虚拟信息，而不需要在屏幕显示拍摄目标场景的虚拟画面，使得用户观看屏幕时，可裸眼感受屏幕上显示的虚拟信息与透过屏幕看到的现实的目标场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。
在一个实施例中，参考图2，步骤S110包括步骤S111至步骤S115。
S111：通过深度摄像头采集深度摄像头的当前位置与目标场景中预设位置的物体之间的距离，得到实测距离。
其中，预设位置可以根据实际需要设置。例如，预设位置可以是深度摄像头的正前方位置，通过深度摄像头、采集深度摄像头的当前位置与目标场景中深度摄像头的正前方位置的物体之间的距离，得到实测距离。
S113：根据实测距离与已存的焦距-距离关系函数计算得到最佳焦距。
焦距-距离关系函数是深度摄像头拍摄的距离与拍摄清晰画面所用焦距的对应关系表达式；焦距-距离关系函数可以通过预先试验后生成并存储。具体地，将实测距离代入焦距-距离关系函数进行计算，得到的最佳焦距为深度摄像头的当前位置下拍摄清晰画面的焦距。
S115：调整深度摄像头的焦距为最佳焦距，调用调整后的深度摄像头拍摄目标场景，得到目标场景的空间三维信息。
通过根据实测距离获取最佳焦距，自动调整深度摄像头的焦距为最佳焦距，使得拍摄目标场景得到的空间三维信息清晰度高。
在一个实施例中，请继续参考图2，步骤S111之前还包括步骤S101至步骤S104。
S101：在多个拍摄位置分别调用与深度摄像头的距离小于预设值的彩色摄像头，采集多点标定图的画面并发送至屏幕进行显示。
其中，多点标定图的尺寸比例与屏幕的尺寸比例一致，即，多点标定图的长宽比与屏幕的长宽比相等，便于进行画面校准。预设值可以根据实际需要具体设置，预设值越小，深度摄像头与彩色摄像头的距离越近。拍摄位置可以由用户选取，保证在不同的拍摄位置均可以通过彩色摄像头拍摄到多点标定图即可；具体地，多个拍摄位置与多点标定图的远近距离不相等。多点标定图为画有多个校准点的图；本实施例中，多点标定图为画有四个边角的校准点和中心校准点的5点标定图，如图3所示。多点标定图固定放置，例如可以贴在平面墙上。具体地，彩色摄像头和深度摄像头可以同时开启同时使用；彩色摄像头采集彩色画面并回传至屏幕上，深度摄像头采集深度信息得到空间三维信息。
S102：获取分别在各拍摄位置下同时调整彩色摄像头和深度摄像头的焦距、使屏幕显示的画面与人眼透过屏幕观看的多点标定图的实景画面重合时深度摄像头的焦距，得到各拍摄位置对应的调整焦距。
屏幕显示的画面为拍摄的多点标定图的虚拟画面，人眼透过屏幕观看的为多点标定图的实景画面；屏幕显示的画面与实景画面重合，具体是虚拟画面中的多个校准点的位置与实际的多点标定图中多个校准点的位置重合。
用户在拍摄位置处观看屏幕显示的画面，同时透过屏幕观看现实的多点标定图，调整彩色摄像头和深度摄像头的焦距，使屏幕显示的画面与人眼透过屏幕观看的多点标定图的实景画面重合。用户在各拍摄位置均进行一次调焦，则各拍摄位置均对应一个调整焦距。
彩色摄像头和深度摄像头的焦距同步调节，从而通过调节焦距使屏幕上显示的画面与人眼直观看到的多点标定图重合，屏幕显示的画面将与人眼观看的实景画面基本一致，此时拍摄的画面清晰度最高，从而调整焦距为使深度摄像头的拍摄效果最好的焦距。
S103：在各拍摄位置分别通过深度摄像头以对应的调整焦距采集深度摄像头的当前位置与多点标定图之间的距离，得到拍摄位置对应的测验距离。
在一个拍摄位置，调整深度摄像头的焦距为调整焦距后，通过深度摄像头采集深度摄像头的当前位置与多点标定图之间的距离，得到这个当前的拍摄位置对应的测验距离；切换到下一个拍摄位置时，重新调焦至新的调整焦距，并通过新的调整焦距的深度摄像头采集深度摄像头的当前位置与多点标定图之间的距离，得到下一拍摄位置对应的测验距离。
S104：根据调整焦距和同一拍摄位置对应的测验距离生成焦距-距离关系函数并存储。
在一个拍摄位置处，通过彩色摄像头拍摄多点标定图像、调焦得到调整焦距、测距得到测验距离，得到当前的拍摄位置下的调整焦距和对应的测验距离；通过多个拍摄位置的重复操作，可得到各个拍摄位置下的调整焦距和对应的测验距离；从而，根据多个调整焦距和测验距离的对应关系生成焦距-距离关系函数。具体地，可以采用仿射变换原理、利用多组对应的调整焦距和测验距离生成焦距-距离关系函数。
通过步骤S101至步骤S104，一方面，仅采用两个摄像头解决屏幕显示的画面与人眼观看的实景画面的位置差校准问题，而传统的场景识别用的设备大多需要用到6个摄像头，节省成本；另一方面，分别在不同的拍摄位置调整焦距使画面匹配校准，以推导出焦距-距离关系函数，使得后续可直接根据测量的距离获取拍摄的最佳焦距，优化拍摄效果。
在一个实施例中，参考图4，步骤S130包括步骤S131至步骤S135。
S131：从已存的多个三维样本模型中选取与目标场景的空间三维信息匹配的三维样本模型。
三维样本模型为预先拍摄场景得到的立体模型。步骤S131可以对存储的多个三维样本模型和目标场景的空间三维信息一一进行匹配分析；例如，存储有每一个三维样本模型的三维信息，依次将各三维样本模型的三维信息与目标场景的空间三维信息进行比较，若相同或相对应，则当前比较的三维样本模型为目标场景的空间三维信息匹配的三维样本模型。
S133：查找匹配的三维样本模型中叠加的虚拟信息得到待显示虚拟信息，以及查找叠加的虚拟信息在三维样本模型中的叠加位置。
各三维样本模型均已叠加对应所需要的虚拟信息。其中，叠加位置为虚拟信息在三维样本模型中的显示位置。
S135：获取查找的叠加位置在屏幕上的对应位置，得到叠加位置所对应待显示虚拟信息的待显示位置。
待显示位置为需要在屏幕上显示的位置；叠加位置所对应待显示虚拟信息，是在三维样本模型中对应叠加位置处所叠加的虚拟信息。即，待显示虚拟信息需要在屏幕上显示的位置，为待显示虚拟信息位于三维样本模型中的叠加位置在屏幕上的对应位置。具体地，叠加位置在三维样本模型的相对位置，对应于待显示位置在屏幕所显示的画面上的相对位置，基于此，可以获取叠加位置在屏幕上的对应位置。
传统的基于增强现实的场景识别基本都是通过摄像头实时采集图像信息进行图像识别比对，调用与识别的图像匹配的虚拟信息；当被识别的图像出现在摄像头拍摄的画面中，则匹配的虚拟信息显示；当被识别的图像未出现在摄像头拍摄的画面当中，则匹配的虚拟信息不会显示；这样会导致像管道、线路等长距离，不能连续显示，当摄像头偏转或掉头，则需要重新识别图像匹配虚拟信息，空间延续性差。本实施例中，通过预先存储多个三维样本模型且各三维样本模型叠加虚拟信息，当实时采集到目标场景的空间三维信息时匹配三维样本模型、根据匹配的三维样本模型获取待显示虚拟信息及对应的待显示位置，由于三维样本模型为立体空间模型，范围广，从而对应显示在屏幕的待显示虚拟信息涉及画面广，当深度摄像头转向之后，视野上看不到的物体所在位置对应的虚拟信息不会显示，但是屏幕上还可以连续显示视野上同一空间内其他物体所在位置对应的虚拟，不会出现信息丢失，空间延续性好。
在一个实施例中，请继续参考图4，步骤S131之前还包括步骤S1001至步骤S1004。本实施例中，步骤S1001至步骤S1004在步骤S110之前执行，具体可以在步骤S101之前执行。可以理解，在其他实施例中，步骤S1001至步骤S1004还可以是在步骤S104之后执行。
S1001：调用深度摄像头拍摄各样本场景，得到各样本场景的空间三维信息。
样本场景可以有用户选取确定，例如，可以是需要进行二次加工的工业管道区域。
S1002：分别根据各样本场景的空间三维信息生成各样本场景的具有相互垂直的三轴方向的立体模型。
空间三维信息是样本场景的远近、凹凸等深度信息的黑白信息，将黑白信息解析为具有相互垂直的XYZ三轴方向的立体模型。具体地，利用slam(simultaneouslocalization and mapping同时定位与地图构建)原理将黑白信息解析为立体模型。
S1003：采集各样本场景的虚拟信息。
各样本场景的虚拟信息可以通过可编程逻辑控制器在一次设备上进行采集得到。例如，虚拟信息可以是计算机图像或实时数据。
S1004：在各立体模型上分别叠加立体模型所对应样本场景的虚拟信息，得到所对应样本场景的三维样本模型并存储。
具体地，可以通过专业的界面交互引擎在立体模型的对应位置叠加虚拟信息
通过步骤S1001至步骤S1004，采集各样本场景的空间三维信息生成立体模型、采集虚拟信息并叠加在对应立体模型上得到样本场景的三维样本模型并存储，便于根据采集的目标场景的空间三维信息进行匹配。
参考图5，在一个实施例中，提供了一种基于增强现实的场景识别装置，包括空间三维信息获取模块110、信息及位置获取模块130、显示指令生成模块150和指令发送模块170。
空间三维信息获取模块110用于调用深度摄像头拍摄目标场景，得到目标场景的空间三维信息。
信息及位置获取模块130用于根据目标场景的空间三维信息获取待显示虚拟信息及待显示虚拟信息在屏幕上的待显示位置。
待显示虚拟信息是对目标场景进行场景识别需要叠加显示的虚拟信息；待显示位置是待显示虚拟信息需要在屏幕上显示的位置。其中，待显示虚拟信息包括计算机图像信息和/或实时数据。待显示虚拟信息的数量可以有多个。
显示指令生成模块150用于根据待显示虚拟信息和对应的待显示位置，生成用于控制在屏幕的待显示位置处显示对应待显示虚拟信息的显示指令。
指令发送模块170用于将显示指令和待显示虚拟信息发送至屏幕。
上述基于增强现实的场景识别装置，先由空间三维信息获取模块110调用深度摄像头拍摄目标场景得到目标场景的空间三维信息，信息及位置获取模块130根据目标场景的空间三维信息获取待显示虚拟信息及待显示虚拟信息在屏幕上的待显示位置，再由显示指令生成模块150根据待显示虚拟信息和对应的待显示位置生成显示指令，指令发送模块170将显示指令和待显示虚拟信息发送至屏幕，用于控制在屏幕的待显示位置处显示对应待显示虚拟信息。通过基于目标场景的空间三维信息获取待显示虚拟信息和待显示位置，控制直接在屏幕的待显示位置显示待虚拟信息，而不需要在屏幕显示拍摄目标场景的虚拟画面，使得用户观看屏幕时，可裸眼感受屏幕上显示的虚拟信息与透过屏幕看到的现实的目标场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。
在一个实施例中，空间三维信息获取模块110包括距离测量单元(图未示)、焦距计算单元(图未示)和调整拍摄单元(图未示)。
距离测量单元用于通过深度摄像头采集深度摄像头的当前位置与目标场景中预设位置的物体之间的距离，得到实测距离。焦距计算单元用于根据实测距离与已存的焦距-距离关系函数计算得到最佳焦距。调整拍摄单元用于调整深度摄像头的焦距为最佳焦距，调用调整后的深度摄像头拍摄目标场景，得到目标场景的空间三维信息。
通过根据实测距离获取最佳焦距，自动调整深度摄像头的焦距为最佳焦距，使得拍摄目标场景得到的空间三维信息清晰度高。其中，预设位置可以根据实际需要设置。例如，预设位置可以是深度摄像头的正前方位置。
在一个实施例中，上述基于增强现实的场景识别装置还包括函数生成模块(图未示)，用于在距离测量单元执行相应功能之前，在多个拍摄位置分别调用与深度摄像头的距离小于预设值的彩色摄像头，采集多点标定图的画面并发送至屏幕进行显示；获取分别在各拍摄位置下同时调整彩色摄像头和深度摄像头的焦距、使屏幕显示的画面与人眼透过屏幕观看的多点标定图的实景画面重合时深度摄像头的焦距，得到各拍摄位置对应的调整焦距；在各拍摄位置分别通过深度摄像头以对应的调整焦距采集深度摄像头的当前位置与多点标定图之间的距离，得到拍摄位置对应的测验距离；根据调整焦距和同一拍摄位置对应的测验距离生成焦距-距离关系函数并存储。
通过采用函数生成模块生成焦距-距离关系函数并存储，一方面，仅采用两个摄像头解决屏幕显示的画面与人眼观看的实景画面的位置差校准问题，而传统的场景识别用的设备大多需要用到6个摄像头，节省成本；另一方面，分别在不同的拍摄位置调焦使画面匹配校准，以推导出焦距-距离关系函数，使得后续可直接根据测量的距离获取拍摄的最佳焦距，优化拍摄效果。
在一个实施例中，信息及位置获取模块130包括模型匹配单元(图未示)、信息查找单元(图未示)和位置获取单元(图未示)。
模型匹配单元用于从已存的多个三维样本模型中选取与目标场景的空间三维信息匹配的三维样本模型。信息查找单元用于查找匹配的三维样本模型中叠加的虚拟信息得到待显示虚拟信息，以及查找叠加的虚拟信息在三维样本模型中的叠加位置。位置获取单元用于获取查找的叠加位置在屏幕上的对应位置，得到叠加位置所对应待显示虚拟信息的待显示位置。
通过预先存储多个三维样本模型且各三维样本模型叠加虚拟信息，当实时采集到目标场景的空间三维信息时匹配三维样本模型、根据匹配的三维样本模型获取待显示虚拟信息及对应的待显示位置，由于三维样本模型为立体空间模型，范围广，从而对应显示在屏幕的待显示虚拟信息涉及画面广，当深度摄像头转向之后，视野上看不到的物体所在位置对应的虚拟信息不会显示，但是屏幕上还可以连续显示视野上同一空间内其他物体所在位置对应的虚拟，不会出现信息丢失，空间延续性好。
在一个实施例中，上述基于增强现实的场景识别装置还包括模型预存模块(图未示)，用于在模型匹配单元执行相应功能之前，调用深度摄像头拍摄各样本场景，得到各样本场景的空间三维信息；分别根据各样本场景的空间三维信息生成各样本场景的具有相互垂直的三轴方向的立体模型；采集各样本场景的虚拟信息；在各立体模型上分别叠加立体模型所对应样本场景的虚拟信息，得到所对应样本场景的三维样本模型并存储。
通过采集各样本场景的空间三维信息生成立体模型、采集虚拟信息并叠加在对应立体模型上得到样本场景的三维样本模型并存储，便于根据采集的目标场景的空间三维信息进行匹配。
在一个实施例中，提供一种存储介质，存储有计算机程序，存储的计算机程序被处理器执行时实现上述基于增强现实的场景识别方法的步骤。
在一个实施例中，提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于增强现实的场景识别方法的步骤。
上述存储介质和设备，由于实现了上述基于增强现实的场景识别方法的步骤，同理可使得用户观看屏幕时，可裸眼感受屏幕上显示的虚拟信息与透过屏幕看到的现实的目标场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。
上述基于增强现实的场景识别方法和装置，可以应用于增强识别眼镜，使得用户佩戴增强现实眼镜观看时，不会出现虚拟画面和现实画面的叠加，视觉效果好。以下以一具体应用例进行说明，增强现实眼镜上具备彩色摄像头与深度摄像头，且彩色摄像头与深度摄像头布局位置紧邻，极少位置差距可忽略不计：
1、通过深度摄像头扫描需要进行二次加工的样本场景的远近、凹凸等黑白信息，根据扫描所得的黑白信息图解析为立体模型；通过界面交互引擎在立体模型上的对应位置叠加计算机图像信息或实时数据得到三维样本模型，并保存在增强现实眼镜的后台数据库当中；其中，对应位置叠加的计算机图像信息或实时数据通过可编程逻辑控制器在一次设备上进行采集上来。
2、需要使用增强现实眼镜时，在画面校准的参考平面墙上贴上如图3所示的5点标定图，5点标定图的尺寸比例与屏幕的尺寸比例一致。用户佩戴增强现实眼镜，开启彩色摄像头与深度摄像头。
3、在第一个拍摄位置通过彩色摄像头采集5点标定图的彩色画面传回至屏幕上显示。
4、用户校准彩色摄像头和深度摄像头的焦距，使屏幕显示的画面与人眼透过屏幕观看的多点标定图的实景画面重合；获取此时深度摄像头的焦距得到调整焦距；通过调整后的深度摄像头采集当前位置与多点标定图之间的距离，得到在第一个拍摄位置获取的测验距离。
5、依次切换到远近不同的第二个拍摄位置和第三个拍摄位置，重复第3点的操作和第4点的操作，得到在第二个拍摄位置获取的测验距离和在第三个拍摄位置获取的测验距离。根据三个拍摄位置的调整焦距和测验距离生成焦距-距离关系函数并存储。
6、通过深度摄像头拍摄目标场景，采集当前位置与目标场景中深度摄像头的正前方位置的物体之间的距离得到实测距离；根据实测距离与已存的焦距-距离关系函数计算得到最佳焦距；调整深度摄像头的焦距为最佳焦距，调用调整后的深度摄像头拍摄目标场景得到目标场景的空间三维信息。
从已存的多个三维样本模型中选取与目标场景的空间三维信息匹配的三维样本模型；根据三维样本模型中查找待显示虚拟信息和待显示虚拟信息的待显示位置；根据待显示虚拟信息和对应的待显示位置生成显示指令并发送至屏幕，控制在屏幕的待显示位置处显示对应待显示虚拟信息。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于增强现实的场景识别方法，其特征在于，包括：
在多个拍摄位置分别调用与深度摄像头的距离小于预设值的彩色摄像头，采集多点标定图的画面并发送至屏幕进行显示，所述多点标定图的尺寸比例与所述屏幕的尺寸比例一致；所述多个拍摄位置与多点标定图的远近距离不相等，所述多点标定图为画有四个边角的校准点和中心校准点的五点标定图；
获取分别在各拍摄位置下同时调整所述彩色摄像头和所述深度摄像头的焦距、使所述屏幕显示的画面与人眼透过屏幕观看的所述多点标定图的实景画面重合时所述深度摄像头的焦距，得到各拍摄位置对应的调整焦距；
在各拍摄位置分别通过所述深度摄像头以对应的调整焦距采集所述深度摄像头的当前位置与所述多点标定图之间的距离，得到所述拍摄位置对应的测验距离；
根据所述调整焦距和同一拍摄位置对应的测验距离，采用仿射变换原理生成焦距-距离关系函数并存储；
通过所述深度摄像头采集所述深度摄像头的当前位置与目标场景中预设位置的物体之间的距离，得到实测距离；
根据所述实测距离与已存的焦距-距离关系函数计算得到最佳焦距；
调整所述深度摄像头的焦距为所述最佳焦距，调用调整后的深度摄像头拍摄所述目标场景，得到所述目标场景的空间三维信息；
根据所述目标场景的空间三维信息获取待显示虚拟信息及所述待显示虚拟信息在屏幕上的待显示位置；所述待显示虚拟信息是对目标场景进行场景识别需要叠加显示的虚拟信息；所述待显示位置是所述待显示虚拟信息需要在屏幕上显示的位置；根据所述待显示虚拟信息和对应的待显示位置，生成用于控制在所述屏幕的所述待显示位置处显示对应待显示虚拟信息的显示指令；
将所述显示指令和所述待显示虚拟信息发送至所述屏幕。
2.根据权利要求1所述的基于增强现实的场景识别方法，其特征在于，所述根据所述目标场景的空间三维信息获取待显示虚拟信息及所述待显示虚拟信息在屏幕上的待显示位置，包括：
从已存的多个三维样本模型中选取与所述目标场景的空间三维信息匹配的三维样本模型；
查找匹配的三维样本模型中叠加的虚拟信息得到所述待显示虚拟信息，以及查找叠加的虚拟信息在所述三维样本模型中的叠加位置；
获取查找的叠加位置在所述屏幕上的对应位置，得到所述叠加位置所对应待显示虚拟信息的待显示位置。
3.根据权利要求2所述的基于增强现实的场景识别方法，其特征在于，所述从已存的多个三维样本模型中选取与所述目标场景的空间三维信息匹配的三维样本模型之前，还包括：
调用所述深度摄像头拍摄各样本场景，得到各样本场景的空间三维信息；
分别根据各样本场景的空间三维信息生成各样本场景的具有相互垂直的三轴方向的立体模型；
采集各样本场景的虚拟信息；
在各立体模型上分别叠加所述立体模型所对应样本场景的虚拟信息，得到所对应样本场景的三维样本模型并存储。
4.一种基于增强现实的场景识别装置，其特征在于，包括：
空间三维信息获取模块，用于调用深度摄像头拍摄目标场景，得到所述目标场景的空间三维信息；所述深度摄像头用于获取被拍摄对象的深度信息以得到所述目标场景的空间三维信息；
所述空间三维信息获取模块包括：
距离测量单元，用于通过所述深度摄像头采集所述深度摄像头的当前位置与所述目标场景中预设位置的物体之间的距离，得到实测距离；
焦距计算单元，用于根据所述实测距离与已存的焦距-距离关系函数计算得到最佳焦距；
调整拍摄单元，用于调整所述深度摄像头的焦距为所述最佳焦距，调用调整后的深度摄像头拍摄所述目标场景，得到所述目标场景的空间三维信息；
函数生成模块，用于在距离测量单元执行相应功能之前，在多个拍摄位置分别调用与深度摄像头的距离小于预设值的彩色摄像头，采集多点标定图的画面并发送至屏幕进行显示；所述多点标定图的尺寸比例与所述屏幕的尺寸比例一致；所述多个拍摄位置与多点标定图的远近距离不相等，所述多点标定图为画有四个边角的校准点和中心校准点的五点标定图；获取分别在各拍摄位置下同时调整彩色摄像头和深度摄像头的焦距、使屏幕显示的画面与人眼透过屏幕观看的多点标定图的实景画面重合时深度摄像头的焦距，得到各拍摄位置对应的调整焦距；在各拍摄位置分别通过深度摄像头以对应的调整焦距采集深度摄像头的当前位置与多点标定图之间的距离，得到拍摄位置对应的测验距离；根据调整焦距和同一拍摄位置对应的测验距离，采用仿射变换原理生成焦距-距离关系函数并存储；
信息及位置获取模块，用于根据所述目标场景的空间三维信息获取待显示虚拟信息及所述待显示虚拟信息在屏幕上的待显示位置；所述待显示虚拟信息是对目标场景进行场景识别需要叠加显示的虚拟信息；所述待显示位置是所述待显示虚拟信息需要在屏幕上显示的位置；
显示指令生成模块，用于根据所述待显示虚拟信息和对应的待显示位置，生成用于控制在所述屏幕的所述待显示位置处显示对应待显示虚拟信息的显示指令；
指令发送模块，用于将所述显示指令和所述待显示虚拟信息发送至所述屏幕。
5.根据权利要求4所述的基于增强现实的场景识别装置，其特征在于，所述信息及位置获取模块包括：
模型匹配单元，用于从已存的多个三维样本模型中选取与所述目标场景的空间三维信息匹配的三维样本模型；
信息查找单元，用于查找匹配的三维样本模型中叠加的虚拟信息得到所述待显示虚拟信息，以及查找叠加的虚拟信息在所述三维样本模型中的叠加位置；
位置获取单元，用于获取查找的叠加位置在所述屏幕上的对应位置，得到所述叠加位置所对应待显示虚拟信息的待显示位置。
6.一种存储介质，存储有计算机程序，其特征在于，存储的计算机程序被处理器执行时实现如权利要求1-3中任一项所述方法的步骤。
7.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711488143.1A CN108022306B (zh) | 2017-12-30 | 2017-12-30 | 基于增强现实的场景识别方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711488143.1A CN108022306B (zh) | 2017-12-30 | 2017-12-30 | 基于增强现实的场景识别方法、装置、存储介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108022306A CN108022306A (zh) | 2018-05-11 |
| CN108022306B true CN108022306B (zh) | 2021-09-21 |
Family
ID=62072407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711488143.1A Active CN108022306B (zh) | 2017-12-30 | 2017-12-30 | 基于增强现实的场景识别方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108022306B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961422B (zh) * | 2018-06-27 | 2023-02-14 | 百度在线网络技术（北京）有限公司 | 三维模型的标记方法和装置 |
| CN110766802B (zh) * | 2018-07-24 | 2023-08-01 | 中国移动通信集团河南有限公司 | 有线宽带中网络设备故障处理方法及装置 |
| CN111080704B (zh) * | 2018-10-22 | 2023-09-15 | 浙江宇视科技有限公司 | 视频增强现实的方法及装置 |
| CN109379551B (zh) * | 2018-11-26 | 2021-05-18 | 京东方科技集团股份有限公司 | 一种增强内容显示方法、处理方法、显示装置及处理装置 |
| CN110008993A (zh) * | 2019-03-01 | 2019-07-12 | 华东师范大学 | 一种基于深度神经网络的端到端图像识别方法 |
| CN110196638B (zh) * | 2019-05-17 | 2023-10-13 | 中电海康集团有限公司 | 基于目标检测和空间投影的移动端增强现实方法和系统 |
| CN112017297B (zh) * | 2019-05-28 | 2024-01-23 | 中国商用飞机有限责任公司 | 一种增强现实的定位方法、装置、设备及介质 |
| CN110111428B (zh) * | 2019-05-28 | 2023-06-20 | 艾瑞迈迪科技石家庄有限公司 | 一种应用于增强现实的虚拟目标标定方法及装置 |
| CN112053451B (zh) * | 2019-06-05 | 2024-06-21 | 北京外号信息技术有限公司 | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 |
| CN110290291A (zh) * | 2019-07-05 | 2019-09-27 | 北京乐元素文化发展有限公司 | 画面合成方法和装置以及互动方法 |
| CN110568924A (zh) * | 2019-07-29 | 2019-12-13 | 上海英众信息科技有限公司 | 一种基于眼部识别的vr控制方法 |
| CN112308103B (zh) * | 2019-08-02 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 生成训练样本的方法和装置 |
| JP7150894B2 (ja) | 2019-10-15 | 2022-10-11 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN111127669A (zh) * | 2019-12-30 | 2020-05-08 | 北京恒华伟业科技股份有限公司 | 一种信息处理方法及装置 |
| CN111556283B (zh) * | 2020-03-18 | 2022-04-19 | 深圳市华橙数字科技有限公司 | 监控摄像头管理方法、装置、终端及存储介质 |
| CN111597466A (zh) * | 2020-04-30 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 展示方法、装置和电子设备 |
| CN111654688B (zh) * | 2020-05-29 | 2022-03-29 | 亮风台（上海）信息科技有限公司 | 一种获取目标控制参数的方法与设备 |
| CN111970557A (zh) * | 2020-09-01 | 2020-11-20 | 深圳市慧鲤科技有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN112053450B (zh) | 2020-09-10 | 2024-07-16 | 脸萌有限公司 | 文字的显示方法、装置、电子设备及存储介质 |
| CN112132944B (zh) * | 2020-09-30 | 2024-08-27 | 湖南能创科技有限责任公司 | 一种基于增强现实的工业内窥影像实现方法及系统 |
| CN112348964B (zh) * | 2020-10-11 | 2024-06-04 | 中国运载火箭技术研究院 | 增强现实眼镜 |
| CN114529690B (zh) * | 2020-10-30 | 2024-02-27 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
| CN112907751B (zh) * | 2021-03-23 | 2023-11-24 | 中德（珠海）人工智能研究院有限公司 | 一种基于混合现实的虚拟装修方法、系统、设备和介质 |
| CN113421344B (zh) * | 2021-05-28 | 2023-03-28 | 互动视创科技(武汉)有限责任公司 | 一种沉浸式观影装置及方法 |
| CN113885703A (zh) * | 2021-09-30 | 2022-01-04 | 联想(北京)有限公司 | 一种信息处理方法、装置和电子设备 |
| CN114612557A (zh) * | 2022-03-10 | 2022-06-10 | Oppo广东移动通信有限公司 | 视点对齐方法、装置、存储介质及电子设备 |
| CN116962620A (zh) * | 2022-04-20 | 2023-10-27 | 华为技术有限公司 | 演示系统、方法、图形界面及相关装置 |
| CN115047624B (zh) * | 2022-05-24 | 2023-06-27 | 北京领为军融科技有限公司 | 智能眼镜操控系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101387735A (zh) * | 2007-09-14 | 2009-03-18 | 三星电子株式会社 | 用于图像捕获的自动聚焦方法、介质和设备 |
| CN103847640A (zh) * | 2012-12-05 | 2014-06-11 | 现代自动车株式会社 | 提供增强现实的方法和设备 |
| CN105157602A (zh) * | 2015-07-13 | 2015-12-16 | 西北农林科技大学 | 基于机器视觉的远程三维扫描系统及方法 |
| CN105444775A (zh) * | 2015-12-31 | 2016-03-30 | 歌尔科技有限公司 | 一种增强现实的导航系统、头戴设备和导航方法 |
| CN106710002A (zh) * | 2016-12-29 | 2017-05-24 | 深圳迪乐普数码科技有限公司 | 基于观察者视角定位的ar实现方法及其系统 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8698843B2 (en) * | 2010-11-02 | 2014-04-15 | Google Inc. | Range of focus in an augmented reality application |
| US20130249947A1 (en) * | 2011-08-26 | 2013-09-26 | Reincloud Corporation | Communication using augmented reality |
| US8994558B2 (en) * | 2012-02-01 | 2015-03-31 | Electronics And Telecommunications Research Institute | Automotive augmented reality head-up display apparatus and method |
| CN106200960A (zh) * | 2016-07-07 | 2016-12-07 | 深圳市大熊动漫文化有限公司 | 电子互动产品的内容显示方法及装置 |
| CN106373198A (zh) * | 2016-09-18 | 2017-02-01 | 福州大学 | 一种实现增强现实的方法 |
| CN106873768B (zh) * | 2016-12-30 | 2020-05-05 | 中兴通讯股份有限公司 | 一种增强现实方法、装置及系统 |
| CN107168532B (zh) * | 2017-05-05 | 2020-09-11 | 武汉秀宝软件有限公司 | 一种基于增强现实的虚拟同步显示方法及系统 |
-
2017
- 2017-12-30 CN CN201711488143.1A patent/CN108022306B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101387735A (zh) * | 2007-09-14 | 2009-03-18 | 三星电子株式会社 | 用于图像捕获的自动聚焦方法、介质和设备 |
| CN103847640A (zh) * | 2012-12-05 | 2014-06-11 | 现代自动车株式会社 | 提供增强现实的方法和设备 |
| CN105157602A (zh) * | 2015-07-13 | 2015-12-16 | 西北农林科技大学 | 基于机器视觉的远程三维扫描系统及方法 |
| CN105444775A (zh) * | 2015-12-31 | 2016-03-30 | 歌尔科技有限公司 | 一种增强现实的导航系统、头戴设备和导航方法 |
| CN106710002A (zh) * | 2016-12-29 | 2017-05-24 | 深圳迪乐普数码科技有限公司 | 基于观察者视角定位的ar实现方法及其系统 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 虚拟现实增强技术综述;周忠 等;《中国科学：信息科学》;20151231;第45卷(第2期);第157-180页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108022306A (zh) | 2018-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108022306B (zh) | 基于增强现实的场景识别方法、装置、存储介质和设备 | |
| US10990342B2 (en) | Multi-viewpoint switched shooting system and method | |
| US7061485B2 (en) | Method and system for producing a model from optical images | |
| CN110022470B (zh) | 使用合成图像训练对象检测算法的方法和系统和存储介质 | |
| RU2683262C2 (ru) | Устройство обработки информации, способ обработки информации и программа | |
| US9967555B2 (en) | Simulation device | |
| US20050264558A1 (en) | Multi-plane horizontal perspective hands-on simulator | |
| Veas et al. | Extended overview techniques for outdoor augmented reality | |
| US10878285B2 (en) | Methods and systems for shape based training for an object detection algorithm | |
| US10235806B2 (en) | Depth and chroma information based coalescence of real world and virtual world images | |
| US20040233192A1 (en) | Focally-controlled imaging system and method | |
| JP2000137822A (ja) | 現実強調システム | |
| KR102049456B1 (ko) | 광 필드 영상을 생성하는 방법 및 장치 | |
| CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
| CN107209949B (zh) | 用于产生放大3d图像的方法和系统 | |
| JP2018536300A (ja) | バーチャルリアリティヘッドマウントディスプレイ機器ソフトウェアをテストする方法、装置、プログラム、及び記録媒体 | |
| WO2016169409A1 (en) | A method and apparatus for displaying a virtual object in three-dimensional (3d) space | |
| JP2007034628A (ja) | 画像処理方法及び装置 | |
| Ballestin et al. | A registration framework for the comparison of video and optical see-through devices in interactive augmented reality | |
| US11087527B2 (en) | Selecting an omnidirectional image for display | |
| Liu et al. | Distance perception in modern mobile augmented reality | |
| JP2017138907A (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
| CN107222689B (zh) | 基于vr镜头的实景切换方法及装置 | |
| JP2020187557A (ja) | 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム | |
| KR20210055381A (ko) | 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |