CN113379831A - 一种基于双目摄像头和人形机器人的增强现实方法 - Google Patents
一种基于双目摄像头和人形机器人的增强现实方法 Download PDFInfo
- Publication number
- CN113379831A CN113379831A CN202110691331.4A CN202110691331A CN113379831A CN 113379831 A CN113379831 A CN 113379831A CN 202110691331 A CN202110691331 A CN 202110691331A CN 113379831 A CN113379831 A CN 113379831A
- Authority
- CN
- China
- Prior art keywords
- binocular camera
- virtual
- depth
- humanoid robot
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000000872 buffer Substances 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000007654 immersion Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于双目摄像头和人形机器人的增强现实方法，包括(1)获取人形机器人的位置和旋转信息，获取双目摄像头的位姿信息，并还原出虚拟双目摄像头的位姿信息；(2)实时采集视频图像，对视频图像进行深度计算，得到所拍摄实景视频数据和深度信息；(3)利用深度信息将采集的视频图像还原，得到3D虚拟场景结构，将虚拟场景与实景视频进行融合；(4)将合成后的双目视频通过网络传输到客户端。该方法能够实时采集实景数据，并结合相关算法对图像进行处理，对拍摄的场景画面进行分析和结构重建，并融入几何虚拟对象，实现虚实精准融合，提升体验者观看感受，做到实时传输，其准确性、真实感、沉浸感、互动性都有了极大的提升。
Description
技术领域
本发明属于增强现实技术领域，具体涉及一种基于双目摄像头和人形机器人的增强现实方法。
背景技术
随着网络的普及以及增强现实技术的发展，机器人技术也日趋成熟，机器人在日常生活中能够越来越多的帮助人类完成一些工作。在某些特殊行业或者远程情况下，可以采用人形机器人替代用户在现场，将机器人采集接收到的画面传输到客户端后，用户也能够有身临其境的感受。但是现有的增强现实技术存在很多问题和缺陷，例如现有增强技术主要应用在移动平台，采用的是单目摄像头，效果也只是在2D平面上进行展示，导致体验感和沉浸感不强。另外，现有的基于双目摄像头的定位技术在应对复杂环境时，会出现误差累积叠加的情况，导致双目摄像头定位不准确，从而导致增强现实的背景图像和虚拟物体出现严重的偏移误差。
发明内容
为了克服现有的双目摄像头在复杂环境下定位不准确的问题，本发明提出了一种基于双目摄像头和人形机器人的增强现实方法，能够实时采集实景数据，叠加虚拟数字模型，做到实时传输，其准确性、实时性、真实感、沉浸感、互动性都有了极大的提升。
本发明的技术方案是：
一种基于双目摄像头和人形机器人的增强现实方法，包括以下步骤：
(1)通过激光雷达定位获取人形机器人的位置和旋转信息，根据双目摄像头与激光雷达的相对空间位置获取双目摄像头的位姿信息，并还原出虚拟双目摄像头的位姿信息；
(2)通过人形机器人搭载双目摄像头，实时采集视频图像，然后对视频图像进行深度计算，得到所拍摄实景视频数据和深度信息；
(3)利用深度信息将采集的视频图像还原，得到3D虚拟场景结构，将虚拟场景与实景视频进行融合；
(4)将合成后的双目视频通过网络传输到客户端，提供给用户观看。
进一步的，所述步骤(1)中，首先在场景中设置一个默认的世界坐标系，并设置一个世界坐标原点；然后通过激光雷达定位获取人形机器人底盘的旋转矩阵Mr1、偏移矩阵Mt1、位置P1和旋转角度R1；通过人形机器人颈部的旋转角度R2和与底盘的偏移值获得旋转矩阵Mr2和偏移矩阵Mt2；通过人形机器人的头部位置与双目摄像头位置之间的偏移值获得偏移矩阵Mt3；采用转换公式P＝Mt3*Mr2*Mt2*Mr1*Mt1*P1，R＝R1+R2计算得到双目摄像头的位置P和旋转值R；在渲染模块中，设置虚拟的双目摄像机的位置值为P、旋转值为R，从而使虚拟的双目摄像机与真实的双目摄像头在坐标系中实现位置同步。
进一步的，在所述步骤(2)中：
(21)在人形机器人行进过程中或云台旋转过程中，双目摄像头实时采集周边的实景视频图像，并将采集的左右两路视频图像发送到计算模块；计算模块对两路视频图像进行校正；然后采用算法获取左右两张视频图像的视差图，计算左视差图；
(22)对视差图进行检测，找到视差图空洞，然后采用附近可靠视差值的均值进行空洞填充；
(23)将视差图转换为深度图，转换公式为Depth＝(Fx*Baseline)/Disp，其中，Depth表示深度值；Fx表示归一化的焦距；Baseline表示两个摄像头光心之间的距离，称为基线距离；Disp表示视差值，视差的单位是像素，深度的单位是毫米；遍历视差图的像素进行深度转换，即可得到深度图D1和D2。
进一步的，所述步骤(21)中的校正方法包括畸变校正、立体对极线校正，经校正后，相同参考点在两张图像上对应的像素在同一行上；采用的算法为SGBM算法。
进一步的，所述步骤(3)中，渲染模块利用采集的2D视频图像与步骤(2)计算得到的深度信息，构建出复杂的3D场景，然后将计算机生成的几何虚拟对象导入虚拟场景中，对导入的几何虚拟场景进行遮挡和阴影计算，实现虚实精准融合。
进一步的，所述步骤(4)中，按照指定帧率将虚实融合后的场景渲染到渲染模块的back buffer中，渲染模块从back buffer中获取渲染后的图像数据，对图像数据进行压缩编码；然后通过高速网络将编码后的图像数据实时传送到远程客户端，提供给用户观看。
进一步的，渲染模块使用了双缓冲技术，虚实融合后的场景先被渲染到backbuffer中，再交换到屏幕上；所述指定帧率设定为60FPS；所述高速网络包括局域网或5G，在局域网、5G高速网络环境下，使用WebRTC技术，将编码后的图像数据实时发送到客户端。
本发明的有益效果：
(1)本发明提供的基于双目摄像头和人形机器人的增强现实方法，通过机器人加载的激光雷达定位，提高了双目摄像头的定位准确度；通过使用双目摄像头进行增强现实叠加，使获得的双目视频更加贴合实际人眼观察效果，可显著提高视频的清晰度与体验者的舒适度。
(2)相比于一般的增强现实场景，本发明使用专业拍摄设备结合相关算法对图像进行处理，对拍摄的场景画面进行分析和结构重建，在图像中融入计算机生成的几何虚拟对象，实现虚实精准融合，提升体验者观看感受，扩大产品使用范围。
(3)本发明应用深度学习及图形学算法，实现远程异地实景的智能识别、虚拟对象实时叠加，达到实时虚拟融合效果；与5G传输技术相结合，提升客户端高清画质和流畅度；本发明可广泛应用于文化博览、房产展示、医疗康复、高危行业的远程观察和协同作业，具有广阔的应用前景以及较高的社会和经济价值预期。
附图说明
图1为本发明实施例中设有双目摄像头的人形机器人的结构示意图；
图2为本发明提出的增强现实方法的流程示意图；
图中，1、双目摄像头；2、人形机器人头部；3、人形机器人颈部；4、激光雷达；5、计算和渲染模块；6、人形机器人底盘。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了进一步理解本发明，将结合附图和实施例对本发明作进一步的说明。
如图1所示，本发明涉及一种设有双目摄像头的人形机器人，该机器人结构从下向上依次包括人形机器人底盘6、人形机器人颈部3和人形机器人头部2，位于最底部的人形机器人底盘6上还安装有激光雷达4和计算和渲染模块5，人形机器人头部2上方安装有双目摄像头1。在该人形机器人结构中，人形机器人底盘6可移动、可360°旋转；人形机器人颈部为仿人体颈部设计，可仰视、俯视，可左右偏转。
如图2所示，本发明实施例提供了一种基于双目摄像头和人形机器人的增强现实方法，包括以下步骤：
步骤1、获取双目摄像头的位姿信息，并还原出虚拟双目摄像头的位姿信息；
步骤1的具体操作如下：
S11、在场景中设置一个默认的世界坐标系，并设置一个世界坐标原点；
S12、通过激光雷达定位获取人形机器人的底盘的旋转矩阵Mr1、偏移矩阵Mt1，以及位置P1和旋转角度R1；
S13、通过人型机器人的颈部旋转角度R2和与底盘的偏移值获得旋转矩阵Mr2和偏移矩阵Mt2；
S14、通过机器人的头部位置与双目摄像机位置之间的偏移值获得偏移矩阵Mt3；
S15、通过转换公式P＝Mt3*Mr2*Mt2*Mr1*Mt1*P1，R＝R1+R2计算得到双目摄像头的位置P和旋转值R；
S16、在渲染模块中，设置虚拟的双目摄像头的位置值为P、旋转值为R，这样虚拟的双目摄像机和真实的双目摄像头在坐标系中实现了位置同步。
步骤2、实时采集实景视频并进行深度计算，得到场景的视频数据和深度信息；
其具体操作步骤如下：
S21、在人形机器人行进过程中或双目摄像机的云台旋转过程中，双目摄像头多角度、广宽度的实时收集周边的实景视频，并将采集的左右两路视频图像发送到计算模块；计算模块对两路视频图像进行校正，包括畸变校正、立体对极线校正，经过校正后，相同参考点在两张图像上对应的像素在同一行上；
S22、采用SGBM算法获取左右两张视频图像的视差图，可以计算左视差图，也可以计算右视差图，本实施例中采用左视差图；
S23、在具体操作过程中，由于遮挡或者光照不均匀等情况，会导致视差图中出现不可靠视差，从而形成视差图空洞；在步骤S23中，会对视差图进行检测，找到空洞区域，然后用附近可靠视差值的均值进行空洞填充；
S24、将视差图转换为深度图，转换公式为Depth＝(Fx*Baseline)/Disp，其中，Depth表示深度值；Fx表示归一化的焦距；Baseline表示两个摄像头光心之间的距离，称为基线距离；Disp表示视差值，视差的单位是像素，深度的单位是毫米；遍历视差图的像素进行深度转换，即可得到深度图D1和D2。
步骤3、利用深度信息将视频数据还原出3D虚拟场景结构，将虚拟对象与实景视频进行融合；
其具体操作步骤如下：
S31、渲染模块利用采集的2D视频图像与计算得到的深度信息，构建出复杂的3D场景；
具体的，在步骤S31中，在虚拟场景中添加两张几何面片Plane1和Plane2，分别作为虚拟摄像机的显示画面，将双目2D视频图像Image1、Image2分别显示在两张面片上。在步骤2中已根据真实双目摄像头采集的视频图像进行了场景的深度计算，得到深度图D1，此时Plane1的像素深度图为D3，遍历深度图D3的像素，计算两个深度图的差值，然后用此差值做像素深度偏移，公式：D3＝D3+D1－D3，即D3＝D1；同理设置Plane1的像素深度图为D4，遍历深度图D4的像素，计算两个深度图的差值，然后用此差值做像素深度偏移，公式：D4＝D4+D2－D4，即D4＝D2；此时，完成对复杂的3D场景的构建。
S32、将计算机生成的几何虚拟对象导入虚拟场景中；
具体的，步骤S32中，将虚拟对象导入虚拟3D场景中，计算需要摆放的虚拟对象在真实场景中的pose信息P2与真实场景中双目摄像头的pose信息P3的偏移量；根据虚拟摄像机的pose信息P4，采用公式：P5＝P4+P2－P1，计算得到虚拟对象在虚拟空间中的pose信息P5。
S33、对导入的几何虚拟场景进行遮挡和阴影计算，实现虚实精准融合；
具体的，步骤S33中，遮挡的实现：步骤2中已根据真实双目摄像头采集的视频图像进行了场景的深度计算，可得到深度图D1，虚拟物体光栅化后的得到像素深度图D5，遍历深度图D5的像素，与深度图D1对应的像素进行对比，如果深度图D1的像素的深度值小于深度图D5对应的像素的深度值，则显示Plane1的像素颜色，反之则显示虚拟物体的像素颜色，从而可以渲染出真实场景遮挡虚拟对象的效果；同理对Plane2进行相同的操作。
阴影的实现：根据真实双目摄像头的深度图D1可以还原出深度图像素对应的空间位置P6，通过灯光的位置、旋转信息获得灯光的空间坐标系矩阵M，即可通过计算公式：P7＝M*P6计算出像素在灯光坐标系下的空间位置P7；计算这些像素在灯光坐标系下是否与虚拟对象有遮挡，如果有遮挡则此像素渲染的时候要叠加阴影。
步骤4、将合成后的双目视频通过网络传输到客户端，提供给用户观看；
其具体操作步骤如下：
S41，渲染模块按照指定帧率(这里设定为60FPS)将虚实融合后的场景渲染到渲染模块的BackBuffer中；
具体的，步骤S41中，渲染模块使用了双缓冲技术，即具有两个缓冲区：FrontBuffer和Back Buffer，Front Buffer即我们看到的屏幕，Back Buffer则在内存当中，对我们来说是不可见的；每次我们绘图都是在Back Buffer中进行的，当绘图完成时，就必须把绘制的最终结果复制到屏幕上；同理，本实施例中，虚实融合后的场景也是先被渲染到BackBuffer中，再交换到屏幕上。
S42，渲染模块从Back Buffer中获取渲染后的图像数据；
S43，对图像数据进行压缩编码；
具体的，步骤S43中，为了减少网络传输的数据量，本发明对图像数据进行了压缩编码处理。本实施例中采用的是NVIDIA的硬编码算法，该算法使用GPU进行编码，能够有效提升了传输效率，性能高，质量佳。
S44，通过局域网、5G等高速网络，将编码后的图像数据实时发送到客户端。
具体的，步骤S44中，在局域网、5G高速网络环境下，使用WebRTC技术，将编码后的图像数据实时发送到客户端；因为图像数据是左右眼双路数据，客户端可以使用VR眼镜、3D电影眼镜进行观看体验。
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
上述说明仅为本发明的优选实施例，并非是对本发明的限制，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改型等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于双目摄像头和人形机器人的增强现实方法，其特征在于，包括以下步骤：
(1)通过激光雷达定位获取人形机器人的位置和旋转信息，根据双目摄像头与激光雷达的相对空间位置获取双目摄像头的位姿信息，并还原出虚拟双目摄像头的位姿信息；
(2)通过人形机器人搭载双目摄像头，实时采集视频图像，然后对视频图像进行深度计算，得到所拍摄实景视频数据和深度信息；
(3)利用深度信息将采集的视频图像还原，得到3D虚拟场景结构，将虚拟场景与实景视频进行融合；
(4)将合成后的双目视频通过网络传输到客户端，提供给用户观看。
2.根据权利要求1所述的增强现实方法，其特征在于，所述步骤(1)中，首先在场景中设置一个默认的世界坐标系，并设置一个世界坐标原点；然后通过激光雷达定位获取人形机器人底盘的旋转矩阵Mr1、偏移矩阵Mt1、位置P1和旋转角度R1；通过人形机器人颈部的旋转角度R2和与底盘的偏移值获得旋转矩阵Mr2和偏移矩阵Mt2；通过人形机器人的头部位置与双目摄像头位置之间的偏移值获得偏移矩阵Mt3；采用转换公式P＝Mt3*Mr2*Mt2*Mr1*Mt1*P1，R＝R1+R2计算得到双目摄像头的位置P和旋转值R；在渲染模块中，设置虚拟的双目摄像机的位置值为P、旋转值为R，从而使虚拟的双目摄像机与真实的双目摄像头在坐标系中实现位置同步。
3.根据权利要求1所述的增强现实方法，其特征在于，在所述步骤(2)中：
(21)在人形机器人行进过程中或云台旋转过程中，双目摄像头实时采集周边的实景视频图像，并将采集的左右两路视频图像发送到计算模块；计算模块对两路视频图像进行校正；然后采用算法获取左右两张视频图像的视差图，计算左视差图；
(22)对视差图进行检测，找到视差图空洞，然后采用附近可靠视差值的均值进行空洞填充；
(23)将视差图转换为深度图，转换公式为Depth＝(Fx*Baseline)/Disp，其中，Depth表示深度值；Fx表示归一化的焦距；Baseline表示两个摄像头光心之间的距离，称为基线距离；Disp表示视差值，视差的单位是像素，深度的单位是毫米；遍历视差图的像素进行深度转换，即可得到深度图D1和D2。
4.根据权利要求3所述的增强现实方法，其特征在于，所述步骤(21)中的校正方法包括畸变校正、立体对极线校正，经校正后，相同参考点在两张图像上对应的像素在同一行上；采用的算法为SGBM算法。
5.根据权利要求1所述的增强现实方法，其特征在于，所述步骤(3)中，渲染模块利用采集的2D视频图像与步骤(2)计算得到的深度信息，构建出复杂的3D场景，然后将计算机生成的几何虚拟对象导入虚拟场景中，对导入的几何虚拟场景进行遮挡和阴影计算，实现虚实精准融合。
6.根据权利要求1所述的增强现实方法，其特征在于，所述步骤(4)中，按照指定帧率将虚实融合后的场景渲染到渲染模块的backbuffer中，渲染模块从backbuffer中获取渲染后的图像数据，对图像数据进行压缩编码；然后通过高速网络将编码后的图像数据实时传送到远程客户端，提供给用户观看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110691331.4A CN113379831B (zh) | 2021-06-22 | 2021-06-22 | 一种基于双目摄像头和人形机器人的增强现实方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110691331.4A CN113379831B (zh) | 2021-06-22 | 2021-06-22 | 一种基于双目摄像头和人形机器人的增强现实方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379831A true CN113379831A (zh) | 2021-09-10 |
| CN113379831B CN113379831B (zh) | 2022-09-09 |
Family
ID=77578293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110691331.4A Active CN113379831B (zh) | 2021-06-22 | 2021-06-22 | 一种基于双目摄像头和人形机器人的增强现实方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379831B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049678A (zh) * | 2022-01-11 | 2022-02-15 | 之江实验室 | 一种基于深度学习的面部动作捕捉方法及系统 |
| CN116860112A (zh) * | 2023-08-16 | 2023-10-10 | 深圳职业技术学院 | 一种基于xr技术的组合场景体验生成方法、系统及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN104541783A (zh) * | 2015-01-12 | 2015-04-29 | 金陵科技学院 | 一种高效采摘机器人 |
| CN104881027A (zh) * | 2015-05-04 | 2015-09-02 | 国家电网公司 | 轮履复合式变电站巡检机器人自主越障系统及控制方法 |
| CN108663681A (zh) * | 2018-05-16 | 2018-10-16 | 华南理工大学 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
| CN109035309A (zh) * | 2018-07-20 | 2018-12-18 | 清华大学苏州汽车研究院（吴江） | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 |
| US20190079171A1 (en) * | 2017-09-12 | 2019-03-14 | Samsung Electronics Co., Ltd. | Lidar system and method of operating the same |
| CN109658575A (zh) * | 2018-12-29 | 2019-04-19 | 安徽中瑞通信科技股份有限公司 | 一种智能型防护门禁机器人 |
| CN111028285A (zh) * | 2019-12-03 | 2020-04-17 | 浙江大学 | 基于双目视觉和激光雷达融合的深度估计方法 |
| CN111238496A (zh) * | 2020-01-14 | 2020-06-05 | 深圳市锐曼智能装备有限公司 | 机器人位姿确认方法、装置、计算机设备及存储介质 |
| CN111757021A (zh) * | 2020-07-06 | 2020-10-09 | 浙江大学 | 面向移动机器人远程接管场景的多传感器实时融合方法 |
| CN112114667A (zh) * | 2020-08-26 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于双目摄像头和vr设备的ar显示方法及系统 |
| US20210080970A1 (en) * | 2019-09-16 | 2021-03-18 | X Development Llc | Using adjustable vision component for on-demand vision data capture of areas along a predicted trajectory of a robot |
-
2021
- 2021-06-22 CN CN202110691331.4A patent/CN113379831B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN104541783A (zh) * | 2015-01-12 | 2015-04-29 | 金陵科技学院 | 一种高效采摘机器人 |
| CN104881027A (zh) * | 2015-05-04 | 2015-09-02 | 国家电网公司 | 轮履复合式变电站巡检机器人自主越障系统及控制方法 |
| US20190079171A1 (en) * | 2017-09-12 | 2019-03-14 | Samsung Electronics Co., Ltd. | Lidar system and method of operating the same |
| CN108663681A (zh) * | 2018-05-16 | 2018-10-16 | 华南理工大学 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
| CN109035309A (zh) * | 2018-07-20 | 2018-12-18 | 清华大学苏州汽车研究院（吴江） | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 |
| CN109658575A (zh) * | 2018-12-29 | 2019-04-19 | 安徽中瑞通信科技股份有限公司 | 一种智能型防护门禁机器人 |
| US20210080970A1 (en) * | 2019-09-16 | 2021-03-18 | X Development Llc | Using adjustable vision component for on-demand vision data capture of areas along a predicted trajectory of a robot |
| CN111028285A (zh) * | 2019-12-03 | 2020-04-17 | 浙江大学 | 基于双目视觉和激光雷达融合的深度估计方法 |
| CN111238496A (zh) * | 2020-01-14 | 2020-06-05 | 深圳市锐曼智能装备有限公司 | 机器人位姿确认方法、装置、计算机设备及存储介质 |
| CN111757021A (zh) * | 2020-07-06 | 2020-10-09 | 浙江大学 | 面向移动机器人远程接管场景的多传感器实时融合方法 |
| CN112114667A (zh) * | 2020-08-26 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于双目摄像头和vr设备的ar显示方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049678A (zh) * | 2022-01-11 | 2022-02-15 | 之江实验室 | 一种基于深度学习的面部动作捕捉方法及系统 |
| CN116860112A (zh) * | 2023-08-16 | 2023-10-10 | 深圳职业技术学院 | 一种基于xr技术的组合场景体验生成方法、系统及介质 |
| CN116860112B (zh) * | 2023-08-16 | 2024-01-23 | 深圳职业技术大学 | 一种基于xr技术的组合场景体验生成方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379831B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10939085B2 (en) | Three dimensional glasses free light field display using eye location | |
| CN113099204B (zh) | 一种基于vr头戴显示设备的远程实景增强现实方法 | |
| US8446459B2 (en) | Video communication method, device, and system | |
| Daribo et al. | A novel inpainting-based layered depth video for 3DTV | |
| US9451232B2 (en) | Representation and coding of multi-view images using tapestry encoding | |
| US9401041B2 (en) | Multi view synthesis method and display devices with spatial and inter-view consistency | |
| US20090219383A1 (en) | Image depth augmentation system and method | |
| US8571304B2 (en) | Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map | |
| US20020191841A1 (en) | Image processing method and apparatus | |
| US20080278569A1 (en) | Automatic Conversion from Monoscopic Video to Stereoscopic Video | |
| WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
| US20070081716A1 (en) | 3D image processing apparatus and method | |
| CN113379831B (zh) | 一种基于双目摄像头和人形机器人的增强现实方法 | |
| JP2016116162A (ja) | 映像表示装置、映像表示システム、及び映像表示方法 | |
| Thatte et al. | Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax | |
| KR20110093828A (ko) | 3ｄ 이미지 신호를 인코딩하기 위한 방법 및 시스템, 인코딩된 3ｄ 이미지 신호, 3ｄ 이미지 신호를 디코딩하기 위한 방법 및 시스템 | |
| CN114998559A (zh) | 混合现实双目立体视觉图像实时远程渲染方法 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| CA2540538C (en) | Stereoscopic imaging | |
| KR101289283B1 (ko) | 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 | |
| JPH08201941A (ja) | ３次元画像形成方法 | |
| CN109961395B (zh) | 深度图像的生成及显示方法、装置、系统、可读介质 | |
| US11758101B2 (en) | Restoration of the FOV of images for stereoscopic rendering | |
| KR100272132B1 (ko) | 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치 | |
| US20220232201A1 (en) | Image generation system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240317 Address after: Room 102, 1st Floor, Building 1, Yongye Building, No. 166 Haier Road, Laoshan District, Qingdao City, Shandong Province, 266000 Patentee after: Qingdao Inception Space Technology Co.,Ltd. Country or region after: China Address before: 266000 No.393, Songling Road, Laoshan District, Qingdao, Shandong Province Patentee before: QINGDAO RESEARCH INSTITUTE OF BEIHANG University Country or region before: China |
|
| TR01 | Transfer of patent right |