CN107454373A - 投影系统及其非平面自动校正方法与自动校正处理装置 - Google Patents

投影系统及其非平面自动校正方法与自动校正处理装置 Download PDF

Info

Publication number
CN107454373A
CN107454373A CN201710367924.9A CN201710367924A CN107454373A CN 107454373 A CN107454373 A CN 107454373A CN 201710367924 A CN201710367924 A CN 201710367924A CN 107454373 A CN107454373 A CN 107454373A
Authority
CN
China
Prior art keywords
correction
depth map
depth
graphs
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710367924.9A
Other languages
English (en)
Other versions
CN107454373B (zh
Inventor
汪德美
施仁忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW106108138A external-priority patent/TWI604414B/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN107454373A publication Critical patent/CN107454373A/zh
Application granted granted Critical
Publication of CN107454373B publication Critical patent/CN107454373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种投影系统及其非平面自动校正方法与自动校正处理装置。投影系统的非平面自动校正方法包括以下步骤：估算一投影面的一深度图；校正一投影区域与一深度感测区域的一对应范围；在该对应范围内，根据该投影面的该深度图调整一互动内容。

Description

投影系统及其非平面自动校正方法与自动校正处理装置
技术领域
本发明涉及一种投影系统及其非平面自动校正方法与自动校正处理装置。
背景技术
一般的投影装置(例如：Epson BrightLink 595Wi及与其类似的产品)在进行校正时必须将影像投射于平坦的表面，若是投影面不够平坦或是投影面上有高低起伏的对象就无法完成校正程序。而且在校正的过程中，需要使用者依照指示去标定范围，无法自动感应范围。即使是专业人员也需要花许多时间在调整投影机位置与执行校正步骤间来回重复几次才能完成，十分繁琐耗时。通常这种装置都安装在固定的位置不移动，其校正方法不适用于常需搬动的可携式投影互动装置。
发明内容
为解决上述的问题，本发明提出了投影系统及其非平面自动校正方法与自动校正处理装置，其利用深度感测技术、投影技术、影像撷取技术及自动校正技术，使得投影系统能够自动校正投影区域与深度感测区域的对应范围，并在此对应范围内，依据投影面的深度信息调整互动内容，以避免画面变形，或是避免将投影面的凸起处误认为互动操作的物体(如：手或肢体)。因此能节省安装校正的时间，适用于常需搬动的可携式投影互动装置，同时在平坦与非平坦的表面都能达到良好的投影互动效果，且不受投影面上放置其他物品的影响。
根据本发明的一方面，提出一种投影系统的非平面自动校正方法。投影系统的非平面自动校正方法包括以下步骤：估算一投影面的一深度图(depth map)；校正一投影区域与一深度感测区域的一对应范围；在该对应范围内，根据该投影面的该深度图调整一互动内容。校正该投影区域与该深度感测区域的该对应范围的步骤包括：根据一投影装置与一深度感测装置的默认的一位置信息，投影至少二校正图形至该投影面；撷取该投影面的一影像，并于该影像中检测该至少二校正图形；获得该至少二校正图形在该深度图的深度图位置信息；依据该至少二校正图形的深度图位置信息，调整该至少二校正图形的投影位置，以获得该深度图的至少二定位点，该至少二定位点位于该投影区域之内且位于该深度感测区域之内；根据该至少二定位点，校正该投影区域与该深度感测区域的对应范围。在该对应范围内，根据该投影面的深度图调整该互动内容的步骤包括：将该互动内容投影在与该深度感测区域对应的该范围内；依据该深度感测装置对该投影面估算的深度图，修正该互动内容的变形；依据先前对该投影面估算的深度图，调整该互动内容的一相对位置。
根据本发明的另一方面，提出一种投影系统。投影系统包括一深度感测装置、一投影装置、一影像捕获设备及一自动校正处理装置。该深度感测装置用于估算一投影面的一深度图(depth map)。该投影装置用于投影至少二校正图形及一互动内容。该至少二校正图形是根据该投影装置与该深度感测装置的默认的一位置信息，投影该至少二校正图形至该投影面；该互动内容是经过一自动校正处理装置调整后再投影。该影像捕获设备，用于撷取该投影面的一影像。该自动校正处理装置用于校正该投影区域与该深度感测区域的对应范围；并在该对应范围内，根据该投影面的该深度图调整互动内容。该自动校正处理装置包括一对应范围校正单元和一互动内容调整单元。该对应范围校正单元在该影像中检测该至少二校正图形，并获得该至少二校正图形在该深度图的深度图位置信息。该互动内容调整单元在该对应范围内，根据该投影面的该深度图调整该互动内容。该自动校正处理装置依据该至少二校正图形的该深度图位置信息，调整一投影位置，以获得该深度图的至少二定位点，该至少二定位点位于该投影区域之内且位于该深度感测区域之内，并根据该至少二定位点，获得该投影区域与该深度感测区域的该对应范围。该投影互动内容调整单元将该互动内容投影在与该深度感测区域对应的该范围内；依据该深度感测装置对该投影面估算的深度图，修正该互动内容的变形；依据先前对该投影面估算的深度图，调整该互动内容的一相对位置。
根据本发明的另一方面，提出一种自动校正处理装置。自动校正处理装置连接一深度感测装置、一投影装置及一影像捕获设备。该深度感测装置用于估算一投影面的一深度图(depth map)。该投影装置用于投影至少二校正图形及一互动内容。该至少二校正图形是根据一投影位置，投影至该投影面；该互动内容是经过该自动校正处理装置调整后再投影。该影像捕获设备用于撷取该投影面的一影像。该自动校正处理装置包括一对应范围校校正单元和一互动内容调整单元。该对应范围校正单元包括一检测单元、一计算单元、一位置调整单元及一范围设定单元。该检测单元用于在该影像中检测该至少二校正图形。该计算单元用于获得该至少二校正图形在该深度图的深度图位置信息。该位置调整单元用以依据该至少二校正图形的深度图位置信息，调整该投影位置，以获得该深度图的至少二定位点。该至少二定位点位于该投影区域之内且位于该深度感测区域之内。该范围设定单元用于根据该至少二定位点，获得已校正的该对应范围。互动内容调整单元包括一影像缩放单元、一影像屏蔽单元、一影像变形单元、一影像分割单元、一影像移动单元及一影像组合单元。影像缩放单元依据投影区域与深度感测区域的对应范围缩小或放大投影互动内容。影像屏蔽单元用于当投影区域比深度感测区域大时，遮蔽超出对应范围的互动内容。影像变形单元依据深度感测装置对投影面估算的深度图，修正互动内容的变形。影像分割单元依据投影面的深度图，区分固定不变的背景与有位置及深度变化的前景。影像移动单元用于当投影面放置有物品时，依据投影面的深度图，调整投影文字或图案的相对位置。影像组合单元用于组合影像缩放单元、影像屏蔽单元、影像变形单元、影像分割单元及影像移动单元的处理结果，并将组合后的结果传送至投影装置。
附图说明
图1是本发明一实施例的投影系统的示意图；
图2是本发明一实施例的投影系统应用于非平面的一投影面的示意图；
图3是本发明一实施例的对应范围校正单元的示意图；
图4是本发明一实施例的互动内容调整单元的示意图；
图5是本发明一实施例的对应范围校正方法的流程图；
图6是本发明一实施例的互动内容调整方法的流程图；
图7A～7C是图5中各步骤的示意图；
图8是本发明另一实施例的校正图形的示意图；
图9是本发明另一实施例的校正图形的示意图；
图10是本发明另一实施例的校正图形的示意图；
图11是本发明另一实施例的校正图形的示意图。
【附图标记说明】
100-投影系统； 110-深度感测装置；
120-投影装置； 130-影像捕获设备；
140-自动校正处理装置； 141-对应范围校正单元；
141a-检测单元； 141b-计算单元；
141c-位置调整单元； 141d-范围设定单元；
142-互动内容调整单元； 142a-影像缩放单元；
142b-影像屏蔽单元； 142c-影像变形单元；
142d-影像分割单元； 142e-影像移动单元；
142f-影像组合单元； 900-投影面；
C0-投影中心点； C51-圆心；
CM1a、CM1b、CM2-控制信号；
D51-直径； DM-深度图；
E11、E12、E13、E14、E41、E42、E51、E52-定位点；
H0-水平的投影中心轴； IM-影像；
ML-深度图位置信息；
P11、P12、P13、P14、P21、P22、P23、P24、P31、P32、P33、P34、P41、P42、P51、P52-校正图形；
R11、R41、R51-对应范围；
S110、S120、S130、S140、S150、S160、S170、S180、S210、S220、S230、S240、S250、S260、S270、S280、S290-流程步骤；
V0-垂直的投影中心轴。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
请参照图1及图2，图1是本发明一实施例的投影系统100的示意图，图2是投影系统100应用于非平面的一投影面900的示意图。投影系统100例如是投影机、智能白板、智能壁灯、智能台灯、智能餐桌、智能炉具或智能料理台。投影机可播放静态画面或动态影片。智能白板、智能壁灯、智能台灯、智能餐桌、智能炉具或智能料理台可与使用者位于前景的手掌或肢体进行交互式投影。这些应用均可能会投影在非平面的投影面900。本实施例的投影系统100通过深度感测技术、投影技术、影像撷取技术及自动校正技术，使得投影系统100能够自动校正投影区域与深度感测区域的对应范围，并在此对应范围内，依据投影面900的深度信息调整互动内容，以避免画面变形，或者避免将投影面900的凸起处误认为互动操作的物体(如：手或肢体)。
如图1所示，投影系统100包括一深度感测装置110、一投影装置120、一影像捕获设备130及一自动校正处理装置140。深度感测装置110用于估算一投影面的一深度信息，例如是一组双镜头相机、一结构光深度感测装置、一飞时(Time ofFlight)深度感测装置或是一光达(LiDAR)深度感测装置。投影装置120用于投影一画面及至少二校正图形，例如是一CRT投影机、一LCD投影机或一DLP投影机。影像捕获设备130用于撷取一画面，例如是一彩色照相机或一单色照相机。自动校正处理装置140用于执行各种计算程序、判断程序、检测程序与控制程序等，以校正投影区域与深度感测区域的对应范围，并在此对应范围内，根据投影面的深度图调整互动内容，例如是一芯片、一电路、一电路板或储存数组程序代码的记录媒体。
自动校正处理装置140包括一对应范围校正单元141及一互动内容调整单元142。对应范围校正单元141用于校正投影区域与深度感测区域的对应范围。互动内容调整单元142用于在此对应范围内，以一控制信号CM2来根据投影面的深度图调整互动内容。请参照图3所示的对应范围校正单元141，对应范围校正单元141包括一检测单元141a、一计算单元141b、一位置调整单元141c及一范围设定单元141d。检测单元141a用于对影像捕获设备130所撷取的画面进行各种检测程序。计算单元141b用于进行各种计算程序。位置调整单元141c用于进行各种位置调整程序。范围设定单元141d用于设定投影区域与深度感测区域的对应范围。请参照图4所示的互动内容调整单元142，互动内容调整单元142包括一影像缩放单元142a、一影像屏蔽单元142b、一影像变形单元142c、一影像分割单元142d、一影像移动单元142e及一影像组合单元142f。影像缩放单元142a依据投影区域与深度感测区域的对应范围缩小或放大互动内容。影像屏蔽单元142b用于当投影区域比深度感测区域大时，遮蔽超出对应范围的互动内容。影像变形单元142c依据深度感测装置110对投影面估算的深度图，修正互动内容的变形。影像分割单元142d依据投影面的深度图，区分固定不变的背景与有位置及深度变化的前景。影像移动单元142e用于影像分割单元142d判断出有前景时，依据投影面的深度图，调整投影文字或图案的相对位置。影像组合单元142f用于组合影像缩放单元142a、影像屏蔽单元142b、影像变形单元142c、影像分割单元142d及影像移动单元142e的处理结果，并将组合后的结果传送至投影装置120。
请参照图1～3、5及图7A～7C，图5是本发明一实施例的投影系统100的非平面自动校正方法中的对应范围校正方法的流程图，图7A～7C是图5中各步骤的示意图。在步骤S110中，校准深度感测装置110与影像捕获设备130。在此步骤中，深度感测装置110及影像捕获设备130可以同时拍摄一校正板，而取得较准确的3D空间信息。
在步骤S120中，如图2所示，深度感测装置110估算投影面900的一深度图(depthmap)DM(如图7A所示)。在另一实施例中，深度感测装置110也可建立一立体网格(3D mesh)，立体网格例如是一立体三角网格或一立体矩形网格。深度感测装置110可以红外线投射至投影面900，再依据红外线的反射情况测得深度图或建立出立体网格。
在步骤S130中，如图2所示，投影装置120根据投影装置120与深度感测装置110的默认的位置信息，投影至少二校正图形(例如是校正图形P11、P12、P13、P14)至投影面900。这些校正图形P11、P12、P13、P14均不相同。不同的底纹表示不同的颜色，校正图形P11、P12、P13、P14的颜色配置均不相同。如此一来，通过颜色配置即可分辨出此些校正图形P11、P12、P13、P14。
在步骤S140中，如图2所示，影像捕获设备130撷取投影面900的一影像IM，对应范围校正单元141中的检测单元141a并于此影像IM中检测这些校正图形P11、P12、P13、P14。在此步骤中，检测单元141a可以利用模板比对算法(template matching algorithm)来比对出这些校正图形P11、P12、P13、P14。
在步骤S150中，如图7A所示，对应范围校正单元141中的计算单元141b获得这些校正图形P11、P12、P13、P14在深度图DM的深度图位置信息ML。在另一实施例中，校正图形P11、P12、P13、P14在影像IM的位置也可通过立体空间转换矩阵分析出这些校正图形P11、P12、P13、P14在立体网格的网格位置信息。
在步骤S160中，对应范围校正单元141中的位置调整单元141c依据这些校正图形P11、P12、P13、P14的深度图位置信息ML，传送控制信号CM1a至投影装置120调整校正图形P11、P12、P13、P14的投影位置，再传送控制信号CM1b至影像捕获设备130重新撷取投影面900的影像IM，并在此影像IM中重新检测这些校正图形P11、P12、P13、P14，以获得在深度图DM中对应的位置，重复步骤S160多次以得到深度图DM的至少二定位点。该至少二定位点位于投影区域之内且位于深度感测区域之内。
举例来说，图7A的校正图形P13、P14位于深度图DM之外，投影装置120将校正图形P13朝向一投影中心点C0或一投影中心轴(例如为水平的投影中心轴H0或垂直的投影中心轴V0)移动。
如图7B所示，直到校正图形P13被完整移入深度图DM而被辨识出来时，才停止对校正图形P13的移动。此时，位置调整单元141c即可取得一定位点E13。同样地，如图7B～7C所示，投影装置120将位于深度图DM外的校正图形P14朝向投影中心点C0、水平的投影中心轴H0或垂直的投影中心轴V0移动，直到校正图形P14被完整移入深度图DM而被辨识出来时，才停止对校正图形P14的移动，以获得定位点E14。
如图7B～7C所示，投影装置120将位于深度图DM内的校正图形P11、P12背向投影中心点C0、水平的投影中心轴H0或垂直的投影中心轴V0移动，直到校正图形P11、P12至少被部份移出深度图DM而无法被辨识出来时，才停止对校正图形P11、P12的移动，以获得定位点E11、E12。
在步骤S170中，对应范围校正单元141中的范围设定单元141d根据定位点E11、E12、E13、E14，获得一已校正投影区域与深度感测区域的对应范围R11。对应范围R11为定位点E11、E12、E13、E14的最大内接矩形。
在步骤S180中，对应范围校正单元141中的范围设定单元141d输出投影区域与深度感测区域的对应范围R11至互动内容调整单元142。如图6所示是本发明一实施例的投影系统100的非平面自动校正方法中的互动内容调整方法的流程图。在步骤S210中，检查投影区域与深度感测区域的对应范围R11比例是否一致？若不一致则执行步骤S220缩放投影影像。若一致则执行步骤S230检查投影区是否偏移出深度感测区？若有偏移则执行步骤S240遮蔽超出对应范围R11的互动内容。若无偏移则执行步骤S250检查投影面深度值变异量是否大于临界值？若大于临界值代表投影面为非平面，则执行步骤S260修正互动内容的变形。若小于或等于临界值代表投影面可视为平面，不需修正互动内容的变形。在步骤S270中依据投影面的深度图，区分固定不变的背景与有位置及深度变化的前景。接着执行步骤S280依据投影面的深度图，调整互动内容的相对位置，避免投影的互动内容与放置在投影面的物品互相干扰。最后在步骤S290中组合步骤S220、步骤S240、步骤S260及步骤S280的处理结果，并将组合后的结果传送至投影装置120。如此使得投影系统100能够自动校正投影区域与深度感测区域的对应范围R11，并在此对应范围R11内，依据投影面900的深度信息调整互动内容，以避免画面变形；或是避免将投影面900的凸起处误认为互动操作的物体(如：手或肢体)。
请参照图8，其是本发明另一实施例的校正图形P21、P22、P23、P24的示意图。在此实施例中，投影装置120在步骤S130所投影的校正图形P21、P22、P23、P24可以是形状相同但颜色不同。影像捕获设备130可以是一彩色照相机。在步骤S140中，对应范围校正单元141中的检测单元141a可以通过色彩比对出这些校正图形P21、P22、P23、P24。
请参照图9，其是本发明另一实施例的校正图形P31、P32、P33、P34的示意图。在此实施例中，投影装置120在步骤S130所投影的校正图形P31、P32、P33、P34可以是颜色相同但形状不同。影像捕获设备130可以是一单色照相机。在步骤S140中，对应范围校正单元141中的检测单元141a可以通过形状比对出这些校正图形P31、P32、P33、P34。
请参照图10，其是本发明另一实施例的校正图形P41、P42的示意图。在此实施例中，校正图形P41、P42的数量为2。在步骤S170中，对应范围校正单元141中的位置调整单元141c以移动校正图形P41、P42所找出的定位点E41、E42作为矩形的对角线，以获得矩形的一投影区域与深度感测区域的对应范围R41。
请参照图11，其是本发明另一实施例的校正图形P51、P52的示意图。在此实施例中，校正图形P51、P52的数量为2。在步骤S170中，对应范围校正单元141中的位置调整单元141c以移动校正图形P51、P52所找出的定位点E51、E52的距离作为圆形的直径D51，以该直径D51的中心点作为圆形的圆心C51，以获得圆形的一投影区域与深度感测区域的对应范围R51。
根据上述各种实施例，通过投影校正图形及移动校正图形的动作，可以校正投影区域与深度感测区域的对应范围，并在此对应范围内，根据投影面的深度图调整互动内容。如此投影系统可以将互动内容投影在投影区域与深度感测区域对应的范围内；也可依据深度感测装置对投影面估算的深度图，修正互动内容的变形；并且当表面有放置物品时，也可依据先前对投影面估算的深度图，调整互动内容的相对位置。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种投影系统的非平面自动校正方法，包括：
估算一投影面的一深度图(depth map)；
校正一投影区域与一深度感测区域的一对应范围，包括：
根据一投影装置与一深度感测装置的默认的一位置信息，投影至少二校正图形至所述投影面；
撷取所述投影面的一影像，并于所述影像中检测所述至少二校正图形；
获得所述至少二校正图形的所述深度图的深度图位置信息；
依据所述至少二校正图形的所述深度图位置信息，调整所述至少二校正图形的投影位置，以获得所述深度图的至少二定位点，所述至少二定位点位于所述投影区域之内且位于所述深度感测区域之内；以及
根据所述至少二定位点，校正所述投影区域与深度感测区域的所述对应范围；以及
在所述对应范围内，根据所述投影面的所述深度图调整一互动内容，包括：
将所述互动内容投影在与所述深度感测区域对应的范围内；
依据所述深度感测装置对所述投影面估算的所述深度图，修正所述互动内容的变形；以及
依据先前对所述投影面估算的所述深度图，调整所述互动内容的一相对位置。
2.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，在调整所述投影位置的步骤中，位于所述深度图内的所述至少二校正图形被部份移出所述深度图、或者位于所述深度图外的所述至少二校正图形被完整移入所述深度图，以获得所述深度图所述至少二定位点。
3.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，在调整所述投影位置的步骤中，位于所述深度图外的所述至少二校正图形朝向一投影中心点或一投影中心轴移动。
4.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，在调整所述投影位置的步骤中，位于所述深度图内所述至少二校正图形背向一投影中心点或一投影中心轴移动。
5.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，所述至少二校正图形均不相同。
6.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，所述至少二校正图形的颜色配置均不相同。
7.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，所述至少二校正图形的形状均不相同。
8.如权利要求1所述的投影系统的非平面自动校正方法，其特征在于，所述至少二校正图形的数量为四，已校正的所述对应范围为一最大内接矩形。
9.一种投影系统，包括：
一深度感测装置，用于估算一投影面的一深度图(depth map)；
一投影装置，用于投影至少二校正图形及一互动内容，其中所述至少二校正图形是根据所述投影装置与所述深度感测装置的默认的一位置信息，投影所述至少二校正图形至所述投影面，所述互动内容是经过一自动校正处理装置调整后再投影；
一影像捕获设备，用于撷取所述投影面的一影像；以及
一自动校正处理装置，用于校正所述投影区域与所述深度感测区域的对应范围，并在所述对应范围内，根据所述投影面的所述深度图调整所述互动内容；
其中所述自动校正处理装置包括一对应范围校正单元及一互动内容调整单元，所述对应范围校正单元在所述影像中检测所述至少二校正图形，并获得所述至少二校正图形在所述深度图的深度图位置信息，所述互动内容调整单元在所述对应范围内，根据所述投影面的所述深度图调整所述互动内容；
其中所述自动校正处理装置根据所述至少二校正图形的所述深度图位置信息，调整一投影位置，以获得所述深度图的至少二定位点，所述至少二定位点位于所述投影区域之内且位于所述深度感测区域之内，并根据所述至少二定位点，获得所述投影区域与深度感测区域的所述对应范围。
10.如权利要求9所述的投影系统，其特征在于，所述对应范围校正单元将位于所述深度图内所述至少二校正图形部份移出所述深度图、或者将位于所述深度图外所述至少二校正图形完整移入所述深度图，以获得所述深度图所述至少二定位点。
11.如权利要求9所述的投影系统，其特征在于，所述对应范围校正单元控制所述投影装置，将位于所述深度图外的所述至少二校正图形朝向一投影中心点或一投影中心轴移动。
12.如权利要求9所述的投影系统，其特征在于，所述对应范围校正单元控制所述投影装置将位于所述深度图内所述至少二校正图形背向一投影中心点或一投影中心轴移动。
13.如权利要求9所述的投影系统，其特征在于，所述至少二校正图形均不相同。
14.如权利要求9所述的投影系统，其特征在于，所述影像捕获设备为彩色照相机，所述至少二校正图形的颜色配置均不相同。
15.如权利要求9所述的投影系统，其特征在于，所述影像捕获设备为单色照相机，所述至少二校正图形的形状均不相同。
16.如权利要求9所述的投影系统，其特征在于，所述至少二校正图形的数量为四，已校正的所述对应范围为一最大内接矩形。
17.一种自动校正处理装置，连接一深度感测装置、一投影装置及一影像捕获设备，所述深度感测装置用于估算一投影面的一深度图，所述投影装置用于投影至少二校正图形及一互动内容，其中所述至少二校正图形是根据一投影位置，投影至所述投影面；所述互动内容是经过所述自动校正处理装置调整后再投影，所述影像捕获设备用于撷取所述投影面的一影像，所述自动校正处理装置包括一对应范围校正单元及一互动内容调整单元，其中
所述对应范围校正单元包括：
一检测单元，用于在所述影像中检测所述至少二校正图形；
一计算单元，用于获得所述至少二校正图形在所述深度图的深度图位置信息；
一位置调整单元，用于根据所述至少二校正图形的所述深度图位置信息，调整所述投影位置，以获得所述深度图的至少二定位点，所述至少二定位点位于所述投影区域之内且位于所述深度感测区域之内；以及
一范围设定单元，用于根据所述至少二定位点，获得已校正的一对应范围；
所述互动内容调整单元包括：
一影像缩放单元，依据所述投影区域与深度感测区域的所述对应范围缩小或放大所述互动内容；
一影像屏蔽单元，用于当所述投影区域比深度感测区域大时，遮蔽超出所述对应范围的互动内容；
一影像变形单元，依据所述深度感测装置对所述投影面估算的所述深度图，修正所述互动内容的变形；
一影像分割单元，依据所述投影面的深度图，区分固定不变的一背景与有位置及深度变化的一前景；
一影像移动单元，用于当所述投影面放置有一物品时，依据所述投影面的深度图，调整投影的文字或图案的相对位置；以及
一影像组合单元，用于组合所述影像缩放单元、影像屏蔽单元、影像变形单元、影像分割单元及影像移动单元的处理结果，并将组合后的结果传送至所述投影装置。
18.如权利要求17所述的自动校正处理装置，其特征在于，所述位置调整单元将位于所述深度图内的所述至少二校正图形部份移出深度图、或者将位于所述深度图外的所述至少二校正图形完整移入所述深度图，以获得所述深度图的所述至少二定位点。
19.如权利要求17所述的自动校正处理装置，其特征在于，所述位置调整单元控制所述投影装置将位于所述深度图外的所述至少二校正图形朝向一投影中心点或一投影中心轴移动。
20.如权利要求17所述的自动校正处理装置，其特征在于，所述位置调整单元控制所述投影装置将位于所述深度图内的所述至少二校正图形背向一投影中心点或一投影中心轴移动。
21.如权利要求17所述的自动校正处理装置，其特征在于，所述至少二校正图形均不相同。
22.如权利要求17所述的自动校正处理装置，其特征在于，所述影像捕获设备为彩色照相机，所述至少二校正图形的颜色配置均不相同。
23.如权利要求17所述的自动校正处理装置，其特征在于，所述影像捕获设备为彩色照相机，所述至少二校正图形的形状均不相同。
24.如权利要求17所述的自动校正处理装置，其特征在于，所述至少二校正图形的数量为四，已校正的所述对应范围为一最大内接矩形。
CN201710367924.9A 2016-05-31 2017-05-23 投影系统及其非平面自动校正方法与自动校正处理装置 Active CN107454373B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
TW105117062 2016-05-31
TW105117062 2016-05-31
TW106108138 2017-03-13
TW106108138A TWI604414B (zh) 2016-05-31 2017-03-13 投影系統及其非平面自動校正方法與自動校正處理裝置

Publications (2)

Publication Number Publication Date
CN107454373A true CN107454373A (zh) 2017-12-08
CN107454373B CN107454373B (zh) 2019-06-14

Family

ID=60421212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710367924.9A Active CN107454373B (zh) 2016-05-31 2017-05-23 投影系统及其非平面自动校正方法与自动校正处理装置

Country Status (2)

Country Link
US (1) US9998719B2 (zh)
CN (1) CN107454373B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111262A (zh) * 2019-03-29 2019-08-09 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN110336987A (zh) * 2019-04-03 2019-10-15 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN110996081A (zh) * 2019-12-06 2020-04-10 北京一数科技有限公司 一种投影画面校正方法、装置、电子设备及可读存储介质
TWI733436B (zh) * 2020-05-06 2021-07-11 微星科技股份有限公司 等比例投影方法及裝置
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018167999A1 (ja) * 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
KR102521408B1 (ko) * 2018-08-27 2023-04-14 삼성전자주식회사 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
US11538179B2 (en) * 2020-02-25 2022-12-27 Zebra Technologies Corporation Depth-based data capture system configuration
TWI724897B (zh) * 2020-05-14 2021-04-11 財團法人工業技術研究院 應變量測方法及應變量測裝置
KR20220049936A (ko) * 2020-10-15 2022-04-22 현대모비스 주식회사 프로젝션 스위칭 장치
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム
JP2022088785A (ja) * 2020-12-03 2022-06-15 セイコーエプソン株式会社 特定方法、投写方法、特定システム、情報処理装置、及びプログラム
US11494926B1 (en) * 2021-07-01 2022-11-08 Himax Technologies Limited Method for performing hybrid depth detection with aid of adaptive projector, and associated apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086081A1 (en) * 2006-01-24 2009-04-02 Kar-Han Tan Color-Based Feature Identification
US20100060803A1 (en) * 2008-09-08 2010-03-11 Apple Inc. Projection systems and methods
CN104349096A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像标定方法、装置及电子设备
CN104349095A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像调整方法、装置及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618076B1 (en) 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
JP2003216130A (ja) 2002-01-28 2003-07-30 Nec Viewtechnology Ltd ひずみ補正機能を備えた投写型表示装置
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US20080192017A1 (en) 2005-04-11 2008-08-14 Polyvision Corporation Automatic Projection Calibration
TWI312100B (en) 2006-09-29 2009-07-11 Ind Tech Res Inst Projective system and methods for adjusting focus and calibrating image thereof
TWI408489B (zh) 2008-03-14 2013-09-11 Compal Communications Inc 投影系統及投影方法
US8009930B2 (en) 2008-03-26 2011-08-30 City University Of Hong Kong Auto-calibration method for a projector-camera system
CN101321303A (zh) 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
TWI379147B (en) 2008-08-27 2012-12-11 Acer Inc Method and system for automatically adjusting the color wheel of the projector
CN101500172B (zh) 2009-02-20 2012-11-07 四川华控图形科技有限公司 基于光传感器的投影自动几何校正方法
JP5428600B2 (ja) 2009-07-09 2014-02-26 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9142025B2 (en) * 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
US9519968B2 (en) 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
TWI513313B (zh) 2013-03-08 2015-12-11 Ind Tech Res Inst 投影裝置及影像校正方法
JP2015204548A (ja) 2014-04-15 2015-11-16 株式会社リコー 画像投影システム
JP2016019194A (ja) * 2014-07-09 2016-02-01 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置
CN204929116U (zh) 2015-09-21 2015-12-30 上海碧虎网络科技有限公司 一种几何图形投影成像自动校正装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086081A1 (en) * 2006-01-24 2009-04-02 Kar-Han Tan Color-Based Feature Identification
US20100060803A1 (en) * 2008-09-08 2010-03-11 Apple Inc. Projection systems and methods
CN104349096A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像标定方法、装置及电子设备
CN104349095A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像调整方法、装置及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111262A (zh) * 2019-03-29 2019-08-09 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN110336987A (zh) * 2019-04-03 2019-10-15 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN110336987B (zh) * 2019-04-03 2021-10-08 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN110996081A (zh) * 2019-12-06 2020-04-10 北京一数科技有限公司 一种投影画面校正方法、装置、电子设备及可读存储介质
TWI733436B (zh) * 2020-05-06 2021-07-11 微星科技股份有限公司 等比例投影方法及裝置
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法
US12003898B2 (en) 2021-09-29 2024-06-04 Coretronic Corporation Projector and projection method

Also Published As

Publication number Publication date
CN107454373B (zh) 2019-06-14
US20170347079A1 (en) 2017-11-30
US9998719B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
CN107454373B (zh) 投影系统及其非平面自动校正方法与自动校正处理装置
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
WO2022142759A1 (zh) 一种激光雷达与相机联合标定方法
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
CN112689135B (zh) 投影校正方法、装置、存储介质及电子设备
CN104268867B (zh) 一种自适应的鱼眼镜头快速校正方法
CN103996173B (zh) 一种基于变长轴椭圆拟合的鱼眼图像校正方法
CN105306922B (zh) 一种深度相机参考图的获取方法和装置
CN104052976A (zh) 投影方法及装置
TWI604414B (zh) 投影系統及其非平面自動校正方法與自動校正處理裝置
CN104090689B (zh) 一种移动终端及其交互式投影的方法和系统
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
CN110440697A (zh) 纠正坐姿智能系统及方法
CN108377371A (zh) 一种投影图像校正的方法及装置
Yamazoe et al. Easy depth sensor calibration
CN106814963A (zh) 一种基于3d传感器定位技术的人机互动系统及方法
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN104731372B (zh) 鼠标光标指向控制方法、装置及系统
CN107588777A (zh) 室内定位系统
CN110443856A (zh) 一种3d结构光模组标定方法、存储介质、电子设备
JP2022550739A (ja) 手持ち式物体の投影ターゲット位置を決定するためのシステム及び方法
CN109996048A (zh) 一种基于结构光的投影校正方法及其系统
CN112991457B (zh) 手术导航中投影仪空间位置和内外参标定方法、装置
CN110430406A (zh) 深度图像生成方法、装置、设备及计算机可读存储介质
CN114119459A (zh) 一种电器产品绝缘测试电源口定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant