CN108563981B - 一种基于投影机和摄相机的手势识别方法和装置 - Google Patents

一种基于投影机和摄相机的手势识别方法和装置 Download PDF

Info

Publication number
CN108563981B
CN108563981B CN201711494867.7A CN201711494867A CN108563981B CN 108563981 B CN108563981 B CN 108563981B CN 201711494867 A CN201711494867 A CN 201711494867A CN 108563981 B CN108563981 B CN 108563981B
Authority
CN
China
Prior art keywords
target object
projector
content
calibration
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711494867.7A
Other languages
English (en)
Other versions
CN108563981A (zh
Inventor
杨伟樑
高志强
林杰勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iview Displays Shenzhen Co Ltd
Original Assignee
Iview Displays Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iview Displays Shenzhen Co Ltd filed Critical Iview Displays Shenzhen Co Ltd
Priority to CN201711494867.7A priority Critical patent/CN108563981B/zh
Priority to PCT/CN2018/088869 priority patent/WO2019128088A1/zh
Publication of CN108563981A publication Critical patent/CN108563981A/zh
Application granted granted Critical
Publication of CN108563981B publication Critical patent/CN108563981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及计算机视觉技术领域，提供了一种基于投影机和摄相机的手势识别方法和装置。方法包括摄像机采集投影机投影画面内包含目标对象的图像内容，并反馈给处理器；所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机将所述目标对象标定内容向投影屏所在位置投射；若处理器确定摄像机在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。本发明相比较现有技术中的精准度不足的问题，本发明所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。

Description

一种基于投影机和摄相机的手势识别方法和装置
【技术领域】
本发明涉及计算机视觉技术领域，特别是涉及一种基于投影机和摄相机的手势识别方法和装置。
【背景技术】
随着立体视觉的技术的日趋成熟，由其衍生出的各种应用解决方案也被越来越多的设计出来和采用。其中，对于如何将现实目标对象完成精准采集，并以虚拟方式呈现在屏幕中，成为立体视觉领域普及应用范围最广大技术之一。例如，在家庭应用场景中，实现手掌的动作识别，并呈现为电视屏幕中的虚拟对象；在会场应用场景中实现，基于用户的手势动作，呈现为投影屏幕中相应的虚拟对象。
其中，对于家庭的应用场景来说，由于用户的手掌操作位置，相对于电视机的采集端来说，距离并不太远。因此，其精准度相对可以保证。而对于上述使用投影机的会场应用场景来说，同样的采集设备便无法保证对现实目标对象的精准采集了，尤其是其所处位置和轮廓的信息的采集，会因为采集设备(通常采集设备和呈现设备会被设置在一起，其目的是方便设备的安装和精度的控制)和现实目标对象之间的距离造成精准度的下降，这个问题成为当前制约投影机实现精准目标采集和虚拟对象生成的主要技术瓶颈。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明要解决的技术问题是解决现有技术中使用投影机的会场应用场景来说，对现实目标对象的采集精准度的下降，尤其是其所处位置和轮廓的信息的采集，会因为采集设备(通常为一摄像机)和现实目标对象之间的距离造成精准度的下降问题。
本发明采用如下技术方案：
第一方面，本发明提供了一种基于投影机和摄相机的手势识别方法，投影机和摄像机之间按照预设位置放置，所述方法包括：
摄像机采集投影机投影画面内包含目标对象的图像内容，并反馈给处理器，以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
若处理器确定摄像机在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。
优选的，所述标定内容具体为：由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
优选的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，具体包括：
采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容，其中，投射到屏幕中的部分标定内容为标定内容的溢出；
若发生标定内容在目标对象的左侧溢出，则根据所述左侧溢出值，减小所述第一位置和/或轮廓信息中x轴方向上坐标值；
若发生标定内容在目标对象的右侧溢出，则根据所述右侧溢出值，增大所述第一位置和/或轮廓信息中x轴方向上坐标值；
若发生标定内容在目标对象的上方溢出，则根据所述上方溢出值，增大所述第一位置和/或轮廓信息中y轴方向上坐标值；
若发生标定内容在目标对象的下方溢出，则根据所述下方溢出值，减小所述第一位置和/或轮廓信息中y轴方向上坐标值；
其中，x轴的正方向向右，y轴的正方向向上。
优选的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，还包括：
若发生标定内容在目标对象的左侧和右侧均溢出，则根据所述左侧和右侧溢出值，缩小所述标定内容尺寸，并继续完成针对左侧溢出或者右侧溢出的校对过程；
若发生标定内容在目标对象的上方和下方均溢出，则根据所述上方和下方溢出值，缩小所述标定内容尺寸，并继续完成针对上方溢出或者下方溢出的校对过程。
优选的，根据校对完成的目标对象的第一位置和/或轮廓信息，生成目标对象的三维模型；其中，所述目标对象的三围模型用于供所述投影机组合到投影内容中共同呈现。
优选的，所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。
优选的，所述预设位置为摄像机的镜头和投影机的镜头之间距离为小于10cm，摄像机镜头可完整采集投影机镜头所投影的投影画面信息。
第二方面，本发明还提供了一种基于投影机和摄相机的手势识别装置，包括存储器和处理器，其中，所述存储器和处理器通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令程序，所述处理器具体用于：
获取投影机投影画面内包含目标对象的图像内容，根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
根据所述第一位置生成目标对象标定内容，并控制投影机将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
根据摄像机反馈的图像内容，若在投影屏幕中采集到有关所述目标对象标定内容的信息，则校对目标对象的第一位置和/或轮廓信息。
优选的，所述标定内容具体为：
由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
优选的，所述装置还包括投影单元和摄像单元：
所述投影单元用于向投影屏幕投放正常的图像信息，以及由所述处理器生成的对应于目标对象的标定信息；
所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息，还用于采集投影屏幕中溢出的标定信息。
第三方面，本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的基于投影机和摄相机的手势识别方法。
本发明中摄像机用于采集目标对象(例如：手掌)，投影机不仅需要完成正常的投影内容的投放，还要完成处理器给它的标定内容的投放。现实场景中，摄像机拍到目标对象之后，计算了一个大概位置，然后，通过投影机投放标定内容，投放到对应位置上去，如果全部目标对象遮挡，并且没有标定内容溢出到投影屏幕，则确定目标对象的定位和/或轮廓信息是准确的；否则，如果摄像机此时在屏幕上采集到了标定内容，那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的，从而需要根据采集结果重新校准。
相比较现有技术中的精准度不足的问题，本发明所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于投影机和摄相机的手势识别装置的结构示意图；
图2是本发明实施例提供的一种基于投影机和摄相机的手势识别方法的流程示意图；
图3是本发明实施例提供的一种标定内容被现实目标对象完全遮挡的效果示意图；
图4是本发明实施例提供的一种标定内容发生左侧溢出的效果示意图；
图5是本发明实施例提供的一种标定内容发生右侧溢出的效果示意图；
图6是本发明实施例提供的一种基于投影机和摄相机的手势识别装置的结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种基于投影机和摄相机的手势识别方法，如图1所示，投影机11和摄像机12之间按照预设位置放置，例如：所述预设位置为摄像机12的镜头和投影机11的镜头之间距离为小于10cm。如图2所示，所述方法包括：
在步骤201中，摄像机12采集投影机11投影画面内包含目标对象的图像内容，并反馈给处理器，以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息。
在步骤202中，所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机11将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成。
在步骤203中，若处理器确定摄像机12在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。
本发明中摄像机12用于采集目标对象(例如：手掌)，投影机11不仅需要完成正常的投影内容的投放，还要完成处理器给它的标定内容的投放。现实场景中，摄像机12拍到目标对象之后，计算了一个大概位置，然后，通过投影机11投放标定内容，投放到对应位置上去，如果全部目标对象遮挡，并且没有标定内容溢出到投影屏幕，则确定目标对象的定位和/或轮廓信息是准确的；否则，如果摄像机12此时在屏幕上采集到了标定内容，那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的，从而需要根据采集结果重新校准。
相比较现有技术中的精准度不足的问题，本发明所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。
在本发明实施例中，对于所述标定内容还给予了一种较为容易理解的描述，具体为：由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机11镜头视角投放到投影屏中的图像信息；并且，所述投影机11将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。因此，所述标定内容可以是由所述处理器在获取到待投影机显示的图片或者视频内容后，通过图像处理的方式将标定内容加载到待投影机显示的图片或者视频上，其中，具体加载的位置和加载的标定内容大小是根据所述目标对象所在第一位置和/或轮廓信息生成的。除了可以采用图像处理的方式将标定内容加载到待投影机显示的图片或者视频上以外，还可以采用将标定内容生成单独的一帧图片，并利用高速切换的方式的，将所述携带标定内容的视频帧/图片帧夹杂在正常的视频帧/图片中，并配合以摄像机的同步采集完成所述标定对象是否存在溢出的检测。
在本发明实施例中，对于步骤203中所涉及的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，提供了一种优选的实现方案，具体包括：
采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容，其中，投射到屏幕中的部分标定内容为标定内容的溢出；如图3所示，为标定内容完全被现实中目标对象遮挡的效果示意图，此时，投影屏幕中是不会有标定内容出现的(即本发明实施例中所描述的溢出)。
若发生标定内容在目标对象的左侧溢出，则根据所述左侧溢出值，减小所述第一位置和/或轮廓信息中x轴方向上坐标值；如图4所示，为标定内容在目标对象的左侧溢出的效果示意图，而所述左侧溢出值，即图4中显示的呈现在投影屏幕上的标定内容的宽度。在实际情况中，考虑到显示中目标对象不一定在屏幕正中间，即由于现实中目标对象与投影屏幕之间存在的距离，以及其相对于投影屏幕中心的偏移，会带来溢出值的放大；此时，便需要先计算出现实中目标对象到投影屏幕的距离，然后通过相似三角形变换求解得到实际的溢出值。相应的计算过程，可以参考在先专利201210204994.X，专利名称为一种定位交互方法及系统，在此不再赘述。
若发生标定内容在目标对象的右侧溢出，则根据所述右侧溢出值，增大所述第一位置和/或轮廓信息中x轴方向上坐标值，如图5所示。
若发生标定内容在目标对象的上方溢出，则根据所述上方溢出值，增大所述第一位置和/或轮廓信息中y轴方向上坐标值。
若发生标定内容在目标对象的下方溢出，则根据所述下方溢出值，减小所述第一位置和/或轮廓信息中y轴方向上坐标值。
其中，x轴的正方向向右，y轴的正方向向上。
优选的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，还包括：
若发生标定内容在目标对象的左侧和右侧均溢出，则根据所述左侧和右侧溢出值，缩小所述标定内容尺寸，并继续完成针对左侧溢出或者右侧溢出的校对过程；
若发生标定内容在目标对象的上方和下方均溢出，则根据所述上方和下方溢出值，缩小所述标定内容尺寸，并继续完成针对上方溢出或者下方溢出的校对过程。
在本发明实施例中，在通过所述标定内容获取了目标对象的第一位置和/或轮廓信息后，存在一应用途径便是，根据校对完成的目标对象的第一位置和/或轮廓信息，生成目标对象的三维模型；其中，所述目标对象的三围模型用于供所述投影机11组合到投影内容中共同呈现。
其中，所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。
实施例2：
本发明还提供了一种基于投影机和摄相机的手势识别装置，如图6所示，包括存储器22和处理器21，其中，所述存储器22和处理器21通过数据总线连接，所述存储器22存储有可被所述至少一个处理器21执行的指令程序，所述处理器21具体用于：
获取投影机11投影画面内包含目标对象的图像内容，根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
根据所述第一位置生成目标对象标定内容，并控制投影机11将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
根据摄像机12反馈的图像内容，若在投影屏幕中采集到有关所述目标对象标定内容的信息，则校对目标对象的第一位置和/或轮廓信息。
本发明中摄像机12用于采集目标对象(例如：手掌)，投影机11不仅需要完成正常的投影内容的投放，还要完成处理器给它的标定内容的投放。现实场景中，摄像机12拍到目标对象之后，计算了一个大概位置，然后，通过投影机11投放标定内容，投放到对应位置上去，如果全部目标对象遮挡，并且没有标定内容溢出到投影屏幕，则确定目标对象的定位和/或轮廓信息是准确的；否则，如果摄像机12此时在屏幕上采集到了标定内容，那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的，从而需要根据采集结果重新校准。
相比较现有技术中的精准度不足的问题，本发明所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。
在本发明实施例中，所述标定内容存在一种优选的实现方式，具体为：
由处理器21根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机11镜头视角投放到投影屏中的图像信息；并且，所述投影机11将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。作为可选的方案，所述标定内容还可以是通过
在本发明实施例中，所述装置除了可以借用外部的投影机和摄像机来实现相关功能以外，还可以通过其装置自身携带相应投影单元和摄像单元，，所述装置还包括投影单元和摄像单元：
所述投影单元用于向投影屏幕投放正常的图像信息，以及由所述处理器21生成的对应于目标对象的标定信息；
所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息，还用于采集投影屏幕中溢出的标定信息。
值得说明的是，上述装置内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于投影机和摄相机的手势识别方法，其特征在于，投影机和摄相机之间按照预设位置放置，所述方法包括：
摄相机采集投影机投影画面内包含目标对象的图像内容，并反馈给处理器，以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
所述处理器根据所述第一位置和/或轮廓信息生成目标对象标定内容，通过所述投影机将所述目标对象标定内容向投影屏所在位置投射；
若处理器确定摄相机在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。
2.根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述标定内容具体为：
由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
3.根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，具体包括：
采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容，其中，投射到屏幕中的部分标定内容为标定内容的溢出；
若发生标定内容在目标对象的左侧溢出，则根据所述左侧溢出值，减小所述第一位置和/或轮廓信息中x轴方向上坐标值；
若发生标定内容在目标对象的右侧溢出，则根据所述右侧溢出值，增大所述第一位置和/或轮廓信息中x轴方向上坐标值；
若发生标定内容在目标对象的上方溢出，则根据所述上方溢出值，增大所述第一位置和/或轮廓信息中y轴方向上坐标值；
若发生标定内容在目标对象的下方溢出，则根据所述下方溢出值，减小所述第一位置和/或轮廓信息中y轴方向上坐标值；
其中，x轴的正方向向右，y轴的正方向向上。
4.根据权利要求3所述的基于投影机和摄相机的手势识别方法，其特征在于，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，还包括：
若发生标定内容在目标对象的左侧和右侧均溢出，则根据所述左侧和右侧溢出值，缩小所述标定内容尺寸，并继续完成针对左侧溢出或者右侧溢出的校对过程；
若发生标定内容在目标对象的上方和下方均溢出，则根据所述上方和下方溢出值，缩小所述标定内容尺寸，并继续完成针对上方溢出或者下方溢出的校对过程。
5.根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，根据校对完成的目标对象的第一位置和/或轮廓信息，生成目标对象的三维模型；其中，所述目标对象的三维模型用于供所述投影机组合到投影内容中共同呈现。
6.根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。
7.根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述预设位置为摄像机的镜头和投影机的镜头之间距离为小于10cm，摄像机镜头可完整采集投影机镜头所投影的投影画面信息。
8.一种基于投影机和摄相机的手势识别装置，其特征在于，包括存储器和至少一个处理器，其中，所述存储器和处理器通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令程序，所述处理器具体用于：
获取投影机投影画面内包含目标对象的图像内容，根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
所述处理器根据所述第一位置和/或轮廓信息生成目标对象标定内容，并控制投影机将所述目标对象标定内容向投影屏所在位置投射；
根据摄像机反馈的图像内容，若在投影屏幕中采集到有关所述目标对象标定内容的信息，则校对目标对象的第一位置和/或轮廓信息。
9.根据权利要求8所述的基于投影机和摄相机的手势识别装置，其特征在于，所述标定内容具体为：
由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
10.根据权利要求8所述的基于投影机和摄相机的手势识别装置，其特征在于，所述装置还包括投影单元和摄像单元：
所述投影单元用于向投影屏幕投放正常的图像信息，以及由所述处理器生成的对应于目标对象的标定信息；
所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息，还用于采集投影屏幕中溢出的标定信息。
CN201711494867.7A 2017-12-31 2017-12-31 一种基于投影机和摄相机的手势识别方法和装置 Active CN108563981B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711494867.7A CN108563981B (zh) 2017-12-31 2017-12-31 一种基于投影机和摄相机的手势识别方法和装置
PCT/CN2018/088869 WO2019128088A1 (zh) 2017-12-31 2018-05-29 一种基于投影机和摄相机的手势识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711494867.7A CN108563981B (zh) 2017-12-31 2017-12-31 一种基于投影机和摄相机的手势识别方法和装置

Publications (2)

Publication Number Publication Date
CN108563981A CN108563981A (zh) 2018-09-21
CN108563981B true CN108563981B (zh) 2022-04-15

Family

ID=63530359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711494867.7A Active CN108563981B (zh) 2017-12-31 2017-12-31 一种基于投影机和摄相机的手势识别方法和装置

Country Status (2)

Country Link
CN (1) CN108563981B (zh)
WO (1) WO2019128088A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703921A (zh) * 2019-10-17 2020-01-17 北京华捷艾米科技有限公司 一种手势跟踪方法及装置
CN110721927A (zh) * 2019-10-18 2020-01-24 珠海格力智能装备有限公司 基于嵌入式平台的视觉检测系统、方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4121245A (en) * 1977-04-11 1978-10-17 Teknekron, Inc. Image registration system for video camera
JP2001338293A (ja) * 2000-03-24 2001-12-07 Fujitsu Ltd 画像照合処理システム
JP2008288714A (ja) * 2007-05-15 2008-11-27 Ohira Giken:Kk 映像投影システム
CN102508544A (zh) * 2011-10-24 2012-06-20 四川长虹电器股份有限公司 一种基于投影互动的智能电视交互方法
CN102568352A (zh) * 2012-02-17 2012-07-11 广东威创视讯科技股份有限公司 一种投影显示系统及方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN105378601A (zh) * 2013-08-21 2016-03-02 英特尔公司 用于创建表面显示并与其交互的系统和方法
CN106022211A (zh) * 2016-05-04 2016-10-12 北京航空航天大学 一种利用手势控制多媒体设备的方法
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置
CN107079126A (zh) * 2014-11-13 2017-08-18 惠普发展公司，有限责任合伙企业 图像投影

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
JP4910613B2 (ja) * 2006-10-05 2012-04-04 株式会社デンソーウェーブ リーダライタ

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4121245A (en) * 1977-04-11 1978-10-17 Teknekron, Inc. Image registration system for video camera
JP2001338293A (ja) * 2000-03-24 2001-12-07 Fujitsu Ltd 画像照合処理システム
JP2008288714A (ja) * 2007-05-15 2008-11-27 Ohira Giken:Kk 映像投影システム
CN102508544A (zh) * 2011-10-24 2012-06-20 四川长虹电器股份有限公司 一种基于投影互动的智能电视交互方法
CN102568352A (zh) * 2012-02-17 2012-07-11 广东威创视讯科技股份有限公司 一种投影显示系统及方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN105378601A (zh) * 2013-08-21 2016-03-02 英特尔公司 用于创建表面显示并与其交互的系统和方法
CN107079126A (zh) * 2014-11-13 2017-08-18 惠普发展公司，有限责任合伙企业 图像投影
CN106022211A (zh) * 2016-05-04 2016-10-12 北京航空航天大学 一种利用手势控制多媒体设备的方法
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置

Also Published As

Publication number Publication date
CN108563981A (zh) 2018-09-21
WO2019128088A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
US10410089B2 (en) Training assistance using synthetic images
EP3680808A1 (en) Augmented reality scene processing method and apparatus, and computer storage medium
US9336603B2 (en) Information processing device and information processing method
US9734392B2 (en) Image processing device and image processing method
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
US9535538B2 (en) System, information processing apparatus, and information processing method
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
CN107003744B (zh) 视点确定方法、装置和电子设备
US10776898B2 (en) Projection system, image processing device and projection method
US20160259402A1 (en) Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
US9746966B2 (en) Touch detection apparatus, touch detection method, and non-transitory computer-readable recording medium
US20180211098A1 (en) Facial authentication device
CN108563981B (zh) 一种基于投影机和摄相机的手势识别方法和装置
KR101349347B1 (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
CN111627073B (zh) 一种基于人机交互的标定方法、标定装置和存储介质
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
US11061471B2 (en) Screen estimation
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
US20160116990A1 (en) Depth determining method and depth determining device of operating body
US10901213B2 (en) Image display apparatus and image display method
JP2016218729A (ja) 画像処理装置、画像処理方法およびプログラム
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
JP2017123589A (ja) 情報処理装置、情報処理方法および映像投影システム
US20200394845A1 (en) Virtual object display control device, virtual object display system, virtual object display control method, and storage medium storing virtual object display control program
JP2018055685A (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20231226

Granted publication date: 20220415