CN106295570B - 交互遮挡过滤系统和方法 - Google Patents
交互遮挡过滤系统和方法 Download PDFInfo
- Publication number
- CN106295570B CN106295570B CN201610658288.0A CN201610658288A CN106295570B CN 106295570 B CN106295570 B CN 106295570B CN 201610658288 A CN201610658288 A CN 201610658288A CN 106295570 B CN106295570 B CN 106295570B
- Authority
- CN
- China
- Prior art keywords
- image
- interaction
- coordinate
- described image
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001914 filtration Methods 0.000 title claims abstract description 27
- 230000008846 dynamic interplay Effects 0.000 claims abstract description 23
- 230000003190 augmentative effect Effects 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种交互遮挡过滤系统和方法，所述系统包括：图像信息采集单元，用于采集当前场景的图像信息；深度信息采集单元，用于采集当前场景的深度信息；过滤单元，用于设定图像信息采集单元和深度信息采集单元之间的坐标转换关系，识别深度信息中进行动态交互的部位的三维轮廓，根据坐标转换关系将三维轮廓转换成图像轮廓，在图像信息中过滤图像轮廓内的图像以生成稳定图像信息。其中，图像信息采集单元的采集范围不小于深度信息采集单元。本发明实现了过滤图像中的动态交互部位所造成的遮挡，在避免增强现实算法因大面积遮挡而失败的同时提高了姿态估计的准确性，同时无需因反复迭代图像进行大量图像计算，具有适用范围广的优点。
Description
技术领域
本申请涉及增强现实技术领域，具体涉及一种交互遮挡过滤系统和方法。
背景技术
增强现实(Augmented Reality，简称AR)是通过运动相机或可穿戴显示装置的实时连续标定，将三维虚拟对象稳定一致地投影到用户视口中,达到“实中有虚”的表现效果。因此AR除了要求解决显示技术(例如全息投影、透明显示等)的问题之外，还需要注重于感知技术，即位置追踪技术。因为，AR只有通过感知周围现实世界，才能获知虚拟图像应当叠加到现实世界的哪个具体位置。目前通常采用即时定位与地图构建算法(SimultaneousLocalization And Mapping，简称SLAM)解决这一类问题。
交互技术是增强现实系统中与显示技术和感知技术密切相关的技术，满足了人们在虚拟和现实世界自然交互的愿望。在早期的AR研究中，研究重点主要集中于跟踪、注册和显示，只是简单地将虚拟物体叠加在真实场景内，并通过显示设备观看虚实效果，没有太多与外界的交互。但是随着计算机性能的提高，显示设备的微型化、便携化，仅进行“显示”的增强场景不再能满足用户的需求，从而促使多种交互技术在AR系统中应用发展，如利用语音识别技术、手势和人体姿态识别技术进行交互等。
手在人类生活中具有极其重要的地位，被用来认识、了解、改造周围的环境。如果能直接使用手与虚拟世界或增强的现实世界进行交互，将日常生活中获得的经验直接运用到交互活动中，则可以充分提高可操作性，并完成更复杂的任务，手势识别交互就由此诞生，基于手势的交互技术在交互过程的具有自然、灵巧和适应性强等优点。增强现实技术本身作为一种新型的人机交互接口，基于手势识别的人机交互可为增强现实系统带来更广泛的应用。
但是在一个完整的增强系统中，实时的手势交互乃至于人体姿态等不同部位的交互必然会对位置追踪带来干扰。
以手势为例：手势的交互会导致动态场景的产生，使得增强现实中获取的场景图像产生动态变化，进而影响了增强现实中姿态的准确估计；
同时，当前主流增强现实设备(inside-out方式)以头戴式为主，因此在实现AR的过程中进行手势交互时，由于手部距头部太近而容易导致出现大面积遮挡，进而导致基于视觉的增强现实算法失败；
此外，当前虽然已有一些动态场景的分割算法，但都需要在获取的图像中进行反复的迭代，以消除手势等动态场景对跟踪的稳定性影响，该类反复迭代的算法需要进行大量的图像计算，超出了当前移动端的实时处理能力。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种无需反复迭代图像即可过滤图像中的动态交互部位所造成遮挡的交互遮挡过滤系统和方法。
第一方面，本发明提供一种交互遮挡过滤系统，所述系统包括：
图像信息采集单元，用于采集当前场景的图像信息；
深度信息采集单元，用于采集当前场景的深度信息；
过滤单元，用于设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。
其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。
第二方面，本发明提供一种包括上述交互遮挡过滤系统的增强现实系统，所述增强现实系统以所述稳定图像信息作为图像输入源，根据所述图像输入源进行特征检测和姿态估计跟踪。
第三方面，本发明提供一种交互遮挡过滤方法，所述方法包括：
设定图像信息采集单元和深度信息采集单元之间的坐标转换关系；
所述图像信息采集单元和所述深度信息采集单元分别采集当前场景的图像信息和深度信息；
识别所述深度信息中进行动态交互的部位的三维轮廓；
根据所述坐标转换关系将所述三维轮廓转换成图像轮廓；
在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。
其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。
本发明诸多实施例提供的交互遮挡过滤系统和方法通过设定图像信息采集单元和深度信息采集单元之间的坐标转换关系，将深度信息中所识别出的三维轮廓转换成图像轮廓，再在图像信息中过滤图像轮廓内的图像以生成稳定图像信息，实现了过滤图像中的动态交互部位所造成的遮挡，在避免增强现实算法因大面积遮挡而失败的同时提高了姿态估计的准确性，同时还因无需反复迭代图像而无需进行大量图像计算，未超出当前主流移动端的实时处理能力，具有适用范围广的优点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中交互遮挡过滤系统的结构示意图。
图2为本发明一实施例中交互遮挡过滤方法的流程图。
图3为图1所示系统的一种优选实施方式的结构示意图。
图4为图3所示系统的一种优选实施方式的结构示意图。
图5为图2所示方法中步骤S10的流程图。
图6为图5所示步骤S10的一种优选实施方式的流程图。
图7为图2所示方法中步骤S50的流程图。
图8为图2所示方法中步骤S70的流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明一实施例中交互遮挡过滤系统的结构示意图。
如图1所示，在本实施例中，本发明提供的交互遮挡过滤系统包括图像信息采集单元10、深度信息采集单元30和过滤单元50。
其中，图像信息采集单元10用于采集当前场景的图像信息，深度信息采集单元30用于采集当前场景的深度信息。
过滤单元50用于设定图像信息采集单元10和深度信息采集单元30之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。
其中，图像信息采集单元10的采集范围不小于深度信息采集单元30。
图2为本发明一实施例中交互遮挡过滤方法的流程图。图2所示的交互遮挡过滤方法可对应应用于图1所示的系统中。
如图2所示，在本实施例中，本发明提供的交互遮挡过滤方法包括：
S10：设定图像信息采集单元和深度信息采集单元之间的坐标转换关系；
S30：所述图像信息采集单元和所述深度信息采集单元分别采集当前场景的图像信息和深度信息；
S50：识别所述深度信息中进行动态交互的部位的三维轮廓；
S70：根据所述坐标转换关系将所述三维轮廓转换成图像轮廓；
S90：在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。
其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。
具体地，在本实施例中，所述进行动态交互的部位为手部，即通过手势进行动态交互。在更多实施例中，可根据实际需求在过滤单元50中预存不同部位乃至部件的识别知识，以对不同的进行动态交互的部位乃至部件进行识别，具有相同的技术效果。
在步骤S10中，过滤单元50分别设定定义于图像信息采集单元10的采集视点的第一坐标系，和定义于深度信息采集单元30采集视点的第二坐标系，再根据预存或实时校准的图像信息采集单元10和深度信息采集单元30的各项参数设定第一坐标系和第二坐标系之间的转换关系；
在步骤S30中，图像信息采集单元10和深度信息采集单元30分别采集当前场景的图像信息和深度信息；
在步骤S50中，过滤单元50识别出所述深度信息中用于进行手势交互的手部，计算出各手部边缘轮廓点在所述第二坐标系中的三维坐标，从而确定由各手部边缘轮廓点组成的手部的三维轮廓；
在步骤S70中，过滤单元50根据步骤S10中确定的转换关系，将所述三维轮廓中各手部边缘轮廓点的三维坐标转换成所述第一坐标系中的三维坐标，再将各所述第一坐标系中的三维坐标转换成成像平面中的二维坐标，从而确定由各所述二维坐标组成的图像轮廓；
在步骤S90中，过滤单元50在所述图像信息中过滤所述图像轮廓内的图像，最终生成不包含动态交互手势的稳定图像信息。
上述实施例通过设定图像信息采集单元和深度信息采集单元之间的坐标转换关系，将深度信息中所识别出的三维轮廓转换成图像轮廓，再在图像信息中过滤图像轮廓内的图像以生成稳定图像信息，实现了过滤图像中的动态交互部位所造成的遮挡，在避免增强现实算法因大面积遮挡而失败的同时提高了姿态估计的准确性；
同时，由于无需反复迭代图像而无需进行大量图像计算，本发明提供的系统和方法的计算任务未超出当前主流移动端的实时处理能力，具有适用范围广的优点。
图3为图1所示系统的一种优选实施方式的结构示意图。
如图3所示，在一优选实施例中，图像信息采集单元10包括图像采集装置11和图像传感器13。其中图像传感器13分别与图像采集装置11和过滤单元50连接。
深度信息采集单元30包括红外采集装置31和深度传感器33。其中深度传感器33分别与红外采集装置31和过滤单元50连接。
图4为图3所示系统的一种优选实施方式的结构示意图。
如图4所示，在一优选实施例中，红外采集装置31包括两个双目红外相机。图像采集装置11包括一个相机，所述相机位于所述两个双目红外相机之间。
在本实施例中，红外采集装置31采用两个双目红外相机，图像采集装置11采用一个相机。在更多实施例中，红外采集装置31还可根据实际需求设置为不同的红外采集装置，只要能配合深度传感器33采集当前场景的深度信息，即可实现相同的技术效果；图像采集装置11还可根据实际需求设置为不同的图像采集装置，只要能配合图像传感器13采集当前场景的图像信息，即可实现相同的技术效果。
图5为图2所示方法中步骤S10的流程图。图5所示的方法可适用于图3或图4所示的系统中。
如图5所示，在一优选实施例中，步骤S10包括：
S11：标定所述红外采集装置的内外参数，并设定定义于所述红外采集装置的第一坐标系；
S13：标定所述图像采集装置的内参数，并设定定义于所述图像采集装置的第二坐标系；
S15：通过棋盘格标定板，确定所述图像采集装置和所述红外采集装置之间的位置关系；
其中，所述位置关系包括旋转关系和平移关系。
图6为图5所示步骤S10的一种优选实施方式的流程图。图6所示的方法可适用于图4所示的系统中。
如图6所示，在一优选实施例中，步骤S10包括：
S111：标定所述红外采集装置的内外参数；
S113：设定定义于所述红外采集装置的第一双目红外相机的第一坐标系；
S13：标定所述图像采集装置的内参数，并设定定义于所述图像采集装置的第二坐标系；
S151：通过棋盘格标定板，确定所述图像采集装置和所述第一双目红外相机之间的位置关系。
具体地，在步骤S111中，过滤单元50标定红外采集装置31的两个双目红外相机的第一内参数和第一外参数；
在步骤S113中，过滤单元50通过深度信息采集单元30进行测量，设定定义于红外采集装置31中的第一双目红外相机的第一坐标系；
在步骤S13中，过滤单元50通过张正友标定法标定图像采集装置11的相机的内参数K，并设定定义于所述相机的第二坐标系；
在步骤S151中，过滤单元50通过棋盘格标定板，确定图像采集装置11和所述第一双目红外相机之间的位置关系具体地，所述位置关系包括旋转关系和平移关系其中，上标I表示图像传感器(Image Sensor)的视点(图像采集装置11)，下标D表示深度传感器(Depth Sensor)的视点(第一双目红外相机)。
图7为图2所示方法中步骤S50的流程图。图7所示的方法可适用于图3或图4所示的系统中。
如图7所示，在一优选实施例中，步骤S50包括：
S51：根据预设的距离先验知识和所述部位的特征识别所述深度信息中的所述部位；
S53：分别计算所述部位的各三维轮廓点在所述第一坐标系下的第一三维坐标，以确定由各三维轮廓点组成的三维轮廓。
具体地，以图4所示系统为例，在步骤S51中，过滤单元50根据预设的手部和深度传感器(Depth Sensor)的视点(第一双目红外相机)之间的距离先验知识，以及手部的特征识别知识，识别所述深度信息中的手部；
在步骤S53中，过滤单元50分别计算手部的各三维轮廓点在所述第一坐标系下的第一三维坐标以确定由各三维轮廓点组成的三维轮廓即
具体地，当前三维轮廓点的深度坐标z的计算方式为：
其中，f为双目红外相机的焦距，b为双目红外相机的测距基线距离，disparity为所述深度信息的视差图；
当前三维轮廓点的横坐标x的计算方式为：
当前三维轮廓点的纵坐标y的计算方式为：
其中，u0和v0分别为深度图像的主点的横坐标和纵坐标，ux和vy分别为当前三维轮廓点对应的二维图像点的横坐标和纵坐标。
图8为图2所示方法中步骤S70的流程图。图8所示的方法可适用于图3或图4所示的系统中。
如图8所示，在一优选实施例中，步骤S70包括：
S71：根据所述位置关系分别将各所述三维轮廓点的第一三维坐标转换为在所述第二坐标系下的第二三维坐标；
S73：根据所述图像采集装置的内参数分别将各所述第二三维坐标转换为投影至所述图像采集装置的成像平面的第三坐标，以确定由各所述第三坐标组成的图像轮廓。
同样以图4所示系统为例，在步骤S71中，过滤单元50根据位置关系将各所述三维轮廓点的第一三维坐标转换为在所述第二坐标系下的第二三维坐标
在步骤S73中，过滤单元50根据所述图像采集装置的内参数K分别将各所述第二三维坐标转换为投影至所述图像采集装置的成像平面的第三坐标以确定由各所述第三坐标组成的图像轮廓即：
在步骤90中，过滤单元50在所述图像信息的全部区域范围Ωimg中过滤所述图像轮廓内的图像Ωhand_area，最终生成不包含动态交互手势的稳定图像信息Ωeffect：
Ωeffect＝Ωimg-Ωhand-area。 (7)
本发明还提供一种增强现实系统，所述增强现实系统包括上述各实施例中的任一种交互遮挡过滤系统，以所述稳定图像信息Ωeffect作为图像输入源，根据所述图像输入源进行特征检测和姿态估计跟踪，从而实现更为稳定的增强现实效果。
在一些实施例中，本发明提供的交互遮挡过滤系统集成于本发明提供的增强现实系统中，所述过滤单元还可用于处理其它预设的增强现实相关的运算任务；
在另一些实施例中，本发明提供的交互遮挡过滤系统独立配置于增强现实系统，仅作为配合使用的增强现实系统的图像输入源。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，过滤单元50可以是设置在计算机或移动智能设备中的软件程序，也可以是单独进行交互遮挡过滤以生成稳定图像信息的硬件芯片。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，过滤单元50还可以被描述为“用于生成稳定图像信息的稳定图像生成单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种交互遮挡过滤系统，其特征在于，所述系统包括：
图像信息采集单元，用于采集当前场景的图像信息；
深度信息采集单元，用于采集当前场景的深度信息，所述深度信息采集单元包括深度传感器；
过滤单元，用于设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息；
其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元；
识别所述深度信息中进行动态交互的部位的三维轮廓，包括：
根据预设的所述动态交互的部位和所述深度传感器的视点之间距离先验知识以及所述动态交互的部位的特征识别所述深度信息中的所述动态交互的部位。
2.根据权利要求1所述的交互遮挡过滤系统，其特征在于，所述图像信息采集单元包括：
图像采集装置；
图像传感器，分别与所述图像采集装置、所述过滤单元连接；
所述深度信息采集单元包括：
红外采集装置；
所述深度传感器，分别与所述红外采集装置、所述过滤单元连接。
3.根据权利要求2所述的交互遮挡过滤系统，其特征在于，所述红外采集装置包括两个双目红外相机；
所述图像采集装置包括一个相机，所述相机位于所述两个双目红外相机之间。
4.根据权利要求2或3所述的交互遮挡过滤系统，其特征在于，所述设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系包括：
标定所述红外采集装置的内外参数，并设定定义于所述红外采集装置的第一坐标系；
标定所述图像采集装置的内参数，并设定定义于所述图像采集装置的第二坐标系；
通过棋盘格标定板，确定所述图像采集装置和所述红外采集装置之间的位置关系；
其中，所述位置关系包括旋转关系和平移关系。
5.根据权利要求4所述的交互遮挡过滤系统，其特征在于，所述识别所述深度信息中进行动态交互的部位的三维轮廓还包括：
分别计算所述部位的各三维轮廓点在所述第一坐标系下的第一三维坐标，以确定由各三维轮廓点组成的三维轮廓。
6.根据权利要求5所述的交互遮挡过滤系统，其特征在于，所述根据所述坐标转换关系将所述三维轮廓转换成图像轮廓包括：
根据所述位置关系分别将各所述三维轮廓点的第一三维坐标转换为在所述第二坐标系下的第二三维坐标：
根据所述图像采集装置的内参数分别将各所述第二三维坐标转换为投影至所述图像采集装置的成像平面的第三坐标，以确定由各所述第三坐标组成的图像轮廓。
7.一种包括权利要求1-6任一项所述交互遮挡过滤系统的增强现实系统，其特征在于，所述增强现实系统以所述稳定图像信息作为图像输入源，根据所述图像输入源进行特征检测和姿态估计跟踪。
8.一种交互遮挡过滤方法，其特征在于，所述方法包括：
设定图像信息采集单元和深度信息采集单元之间的坐标转换关系；
所述图像信息采集单元和所述深度信息采集单元分别采集当前场景的图像信息和深度信息；
识别所述深度信息中进行动态交互的部位的三维轮廓；
根据所述坐标转换关系将所述三维轮廓转换成图像轮廓；
在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息；
其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元；
识别所述深度信息中进行动态交互的部位的三维轮廓，包括：
根据预设的所述动态交互的部位和深度传感器的视点之间距离先验知识以及所述动态交互的部位的特征识别所述深度信息中的所述动态交互的部位。
9.根据权利要求8所述的交互遮挡过滤方法，其特征在于，所述设定图像信息采集单元和深度信息采集单元之间的坐标转换关系包括：
标定红外采集装置的内外参数，并设定定义于所述红外采集装置的第一坐标系；
标定图像采集装置的内参数，并设定定义于所述图像采集装置的第二坐标系；
通过棋盘格标定板，确定所述图像采集装置和所述红外采集装置之间的位置关系；
其中，所述图像信息采集单元包括所述图像采集装置和图像传感器，所述深度信息采集单元包括所述红外采集装置和所述深度传感器，所述位置关系包括旋转关系和平移关系。
10.根据权利要求9所述的交互遮挡过滤方法，其特征在于，所述红外采集装置包括两个双目红外相机：
所述图像采集装置包括一个相机，所述相机位于所述两个双目红外相机之间；
所述标定红外采集装置的内外参数，并设定定义于所述红外采集装置的第一坐标系包括：
标定所述红外采集装置的内外参数；
设定定义于所述红外采集装置的第一双目红外相机的第一坐标系；
所述通过棋盘格标定板，确定所述图像采集装置和所述红外采集装置之间的位置关系包括：通过棋盘格标定板，确定所述图像采集装置和所述第一双目红外相机之间的位置关系。
11.根据权利要求9或10所述的交互遮挡过滤方法，其特征在于，所述识别所述深度信息中进行动态交互的部位的三维轮廓还包括：
分别计算所述部位的各三维轮廓点在所述第一坐标系下的第一三维坐标，以确定由各三维轮廓点组成的三维轮廓。
12.根据权利要求11所述的交互遮挡过滤方法，其特征在于，所述根据所述坐标转换关系将所述三维轮廓转换成图像轮廓包括：
根据所述位置关系分别将各所述三维轮廓点的第一三维坐标转换为在所述第二坐标系下的第二三维坐标：
根据所述图像采集装置的内参数分别将各所述第二三维坐标转换为投影至所述图像采集装置的成像平面的第三坐标，以确定由各所述第三坐标组成的图像轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610658288.0A CN106295570B (zh) | 2016-08-11 | 2016-08-11 | 交互遮挡过滤系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610658288.0A CN106295570B (zh) | 2016-08-11 | 2016-08-11 | 交互遮挡过滤系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106295570A CN106295570A (zh) | 2017-01-04 |
| CN106295570B true CN106295570B (zh) | 2019-09-13 |
Family
ID=57668836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610658288.0A Expired - Fee Related CN106295570B (zh) | 2016-08-11 | 2016-08-11 | 交互遮挡过滤系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106295570B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368188B (zh) * | 2017-07-13 | 2020-05-26 | 河北中科恒运软件科技股份有限公司 | 介导现实中的基于多重空间定位的前景抽取方法及系统 |
| CN109297496A (zh) * | 2018-09-29 | 2019-02-01 | 上海新世纪机器人有限公司 | 基于slam的机器人定位方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093191A (zh) * | 2012-12-28 | 2013-05-08 | 中电科信息产业有限公司 | 一种三维点云数据结合数字影像数据的物体识别方法 |
| CN103514429A (zh) * | 2012-06-21 | 2014-01-15 | 夏普株式会社 | 检测对象的特定部位的方法及图像处理设备 |
| CN104463853A (zh) * | 2014-11-22 | 2015-03-25 | 四川大学 | 一种基于图像分割的阴影检测与去除算法 |
-
2016
- 2016-08-11 CN CN201610658288.0A patent/CN106295570B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514429A (zh) * | 2012-06-21 | 2014-01-15 | 夏普株式会社 | 检测对象的特定部位的方法及图像处理设备 |
| CN103093191A (zh) * | 2012-12-28 | 2013-05-08 | 中电科信息产业有限公司 | 一种三维点云数据结合数字影像数据的物体识别方法 |
| CN104463853A (zh) * | 2014-11-22 | 2015-03-25 | 四川大学 | 一种基于图像分割的阴影检测与去除算法 |
Non-Patent Citations (2)
| Title |
|---|
| 增强现实中真实感图形的绘制研究;苏宏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090415;全文 * |
| 用于增强现实的实时深度图像三维人体识别及遮挡处理;马国宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150515;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106295570A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| US11080937B2 (en) | Wearable augmented reality devices with object detection and tracking | |
| US20230093612A1 (en) | Touchless photo capture in response to detected hand gestures | |
| US20220206588A1 (en) | Micro hand gestures for controlling virtual and graphical elements | |
| US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
| JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
| CN108846867A (zh) | 一种基于多目全景惯导的slam系统 | |
| Canessa et al. | Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment | |
| KR20180101496A (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
| TWI701941B (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
| KR20160000873A (ko) | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 | |
| CN104160426A (zh) | 图像处理装置和图像处理方法 | |
| CN106295570B (zh) | 交互遮挡过滤系统和方法 | |
| CN107145822A (zh) | 偏离深度相机的用户体感交互标定的方法和系统 | |
| TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
| WO2021252242A2 (en) | Augmented reality environment enhancement | |
| Borges et al. | A system for the generation of in-car human body pose datasets | |
| JP2004272515A (ja) | インタフェース方法、装置、およびプログラム | |
| JP6467039B2 (ja) | 情報処理装置 | |
| JP6487545B2 (ja) | 認知度算出装置、認知度算出方法及び認知度算出プログラム | |
| JP6929037B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| Asiminidis | Augmented and Virtual Reality: Extensive Review | |
| Madhkour et al. | KOSEI: a kinect observation system based on kinect and projector calibration | |
| Karlsen | Augmented Reality for MR-guided surgery | |
| Zhou | New image rectification schemes for three-dimensional vision based on sequential virtual rotation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20200730 Granted publication date: 20190913 |
|
| PD01 | Discharge of preservation of patent | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20230730 Granted publication date: 20190913 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190913 |