CN110507983A - 互动式投影系统和互动式投影方法 - Google Patents

互动式投影系统和互动式投影方法 Download PDF

Info

Publication number
CN110507983A
CN110507983A CN201910426178.5A CN201910426178A CN110507983A CN 110507983 A CN110507983 A CN 110507983A CN 201910426178 A CN201910426178 A CN 201910426178A CN 110507983 A CN110507983 A CN 110507983A
Authority
CN
China
Prior art keywords
hand
virtual
held device
virtual image
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910426178.5A
Other languages
English (en)
Inventor
林秀育
江翘竹
蓝亭香
徐雅芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Compal Electronics Inc
Original Assignee
Compal Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Compal Electronics Inc filed Critical Compal Electronics Inc
Publication of CN110507983A publication Critical patent/CN110507983A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)

Abstract

提供一种互动式投影系统和互动式投影方法。互动式投影方法包括：使投影机产生虚拟画布；使用深度摄影机检测对应于虚拟场景的手持装置；以及响应于深度摄影机检测到手持装置而在虚拟画布上投影出对应于虚拟场景的第一虚拟图像，并且在手持装置上投影出对应于虚拟场景的第二虚拟图像，其中第二虚拟图像与第一虚拟图像不同。互动式投影系统可检测手持装置以在手持装置上投影出不同于虚拟场景的虚拟图像，提供使用者更生动、趣味、沉浸式的使用者体验。

Description

互动式投影系统和互动式投影方法
技术领域
本发明涉及一种投影系统和投影方法，尤其涉及一种互动式投影系统和互动式投影方法。
背景技术
随着科技的发展，能与使用者互动的互动式投影机越来越普及。互动式投影机可以捕捉使用者的动作，从而使得使用者可以与互动式投影机所投影的虚拟场景进行互动。如何通过互动式投影机提供使用者更多样化的互动体验，是本领域技术人员致力的目标之一。
发明内容
本发明提供一种互动式投影系统和互动式投影方法。
本发明的互动式投影系统，包括手持装置以及投影机。手持装置对应于虚拟场景。投影机包括光源模块、投影镜头模块、深度摄影机、存储媒体以及处理模块。光源模块提供照明光束。投影镜头模块将照明光束转换为图像光束，并投影图像光束以产生虚拟画布。深度摄影机检测手持装置。存储媒体存储关联于虚拟场景的数据库。处理模块耦接光源模块、投影镜头模块、深度摄影机以及存储媒体，其中处理模块响应于深度摄影机检测到手持装置而存取数据库，藉以通过投影镜头模块在虚拟画布上投影出对应于虚拟场景的第一虚拟图像，并且在手持装置上投影出对应于虚拟场景的第二虚拟图像，其中第二虚拟图像与第一虚拟图像不同。
在本发明的一实施例中，上述的处理模块根据手持装置的位移以及转动的至少其中之一刷新第一虚拟图像以及第二虚拟图像。
在本发明的一实施例中，上述的处理模块响应于手持装置的深度值变化而放大或缩小第二虚拟图像。
在本发明的一实施例中，上述的处理模块响应于手持装置的深度值变化超过第一阈值而放大或缩小第二虚拟图像。
在本发明的一实施例中，上述的处理模块响应于手持装置的转动而调整第二虚拟图像的形状。
在本发明的一实施例中，上述的处理模块响应于手持装置的转动超过第二阈值而调整第二图像的形状。
在本发明的一实施例中，上述的处理模块响应于虚拟画布的第一深度值以及手持装置的第二深度值的差异小于第三阈值而使第一虚拟图像与第二虚拟图像互动。
在本发明的一实施例中，上述的处理模块响应于手持装置发生转动而根据第一互动模式刷新第一虚拟图像以及第二虚拟图像，并且处理模块响应于手持装置未发生转动而根据不同于第一互动模式的第二互动模式刷新第一虚拟图像以及第二虚拟图像。
在本发明的一实施例中，上述的第一虚拟图像包括虚拟物件，并且处理模块基于第一互动模式而将虚拟物件从第一虚拟图像转移到第二虚拟图像。
本发明的互动式投影方法，包括：使投影机产生虚拟画布；使用深度摄影机检测对应于虚拟场景的手持装置；以及响应于深度摄影机检测到手持装置而在虚拟画布上投影出对应于虚拟场景的第一虚拟图像，并且在手持装置上投影出对应于虚拟场景的第二虚拟图像，其中第二虚拟图像与第一虚拟图像不同。
在本发明的一实施例中，上述的互动式投影方法，还包括：根据手持装置的位移以及转动的至少其中之一刷新第一虚拟图像以及第二虚拟图像。
在本发明的一实施例中，上述的互动式投影方法，还包括：响应于手持装置的深度值变化而放大或缩小第二虚拟图像。
在本发明的一实施例中，上述的互动式投影方法，还包括：响应于手持装置的深度值变化超过第一阈值而放大或缩小第二虚拟图像。
在本发明的一实施例中，上述的互动式投影方法，还包括：响应于手持装置的转动而调整第二虚拟图像的形状。
在本发明的一实施例中，上述的互动式投影方法，还包括：响应于手持装置的转动超过第二阈值而调整第二图像的形状。
在本发明的一实施例中，上述的互动式投影方法，还包括：响应于虚拟画布的第一深度值以及手持装置的第二深度值的差异小于第三阈值而使第一虚拟图像与第二虚拟图像互动。
在本发明的一实施例中，上述的互动式投影方法，还包括：响应于手持装置发生转动而根据第一互动模式刷新第一虚拟图像以及第二虚拟图像；以及响应于手持装置未发生转动而根据不同于第一互动模式的第二互动模式刷新第一虚拟图像以及第二虚拟图像。
在本发明的一实施例中，上述的第一虚拟图像包括虚拟物件，并且互动式投影方法还包括：基于第一互动模式而将虚拟物件从第一虚拟图像转移到第二虚拟图像。
基于上述，相较于传统的互动式投影机，本发明的互动式投影系统能为使用者提供更多类型的虚拟场景，并且使用者能通过手持装置来与虚拟场景互动。在互动式投影机营造的虚拟场景中，使用者可以通过手持装置进行诸如捞金鱼、炒菜或打地鼠等活动。使用者使用相同的硬件设备即可体验到多样的虚拟场景。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1根据本发明的实施例示出互动式投影系统的功能方块图。
图2根据本发明的实施例示出由互动式投影系统判断虚拟场景的流程图。
图3A根据本发明的实施例示出建立虚拟场景的流程图。
图3B根据本发明的实施例示出投影第一虚拟图像的示意图。
图3C根据本发明的实施例示出投影第二虚拟图像的示意图。
图4A根据本发明的实施例示出刷新第二虚拟图像的流程图。
图4B根据本发明的实施例示出手持装置水平地移动的示意图。
图4C根据本发明的实施例示出手持装置垂直地移动的示意图。
图4D根据本发明的实施例示出手持装置转动的示意图。
图4E根据本发明的实施例示出具有定位点的手持装置的示意图。
图5A根据本发明的实施例示出使第一虚拟图像与第二虚拟图像互动的流程图。
图5B根据本发明的实施例示出相互互动后的第一虚拟图像以及第二虚拟图像的示意图。
图6根据本发明的实施例示出互动式投影方法的流程图。
【符号说明】
10：互动式投影系统
100：投影机
110：处理模块
120：光源模块
130：投影镜头模块
140：深度摄影机
150：存储媒体
160：扬声器
200：手持装置
210：定位点
300：虚拟画布
310：第一虚拟图像
311：虚拟物件
320：第二虚拟图像
321：第三虚拟图像
A1、A2：投影面积
S201、S202、S203、S204、S301、S302、S303、S304、S401、S402、S403、S404、S405、S406、S407、S501、S502、S503、S504、S505、S506、S601、
S602、S603：步骤
具体实施方式
为了使本发明的内容可以被更容易明了，以下特举实施例做为本发明确实能够据以实施的范例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/步骤，代表相同或类似部件。
图1根据本发明的实施例示出互动式投影系统10的功能方块图。参照图1，互动式投影系统10包括投影机100以及手持装置200。投影机100包括处理模块110、光源模块120、投影镜头模块130、深度摄影机140以及存储媒体150。
处理模块110耦接光源模块120、投影镜头模块130、深度摄影机140以及存储媒体150。处理模块110例如是中央处理单元(central processing unit，CPU)，或是其他可程序化的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、算数逻辑单元(arithmetic logic unit，ALU)或其他类似元件或上述元件的组合。
光源模块120提供照明光束。投影镜头模块130受控于处理模块110而将来自光源模块120的照明光束转换为图像光束，并投影图像光束至一投影面以产生如图3B所示的虚拟画布300。处理模块110可配置光源模块120和投影镜头模块130以在虚拟画布300上投影出虚拟场景或虚拟物件。
深度摄影机140例如是红外线(infrared radiation，IR)摄影机，但本发明并不限制于此。在本实施例中，深度摄影机140用以检测出现在投影镜头模块130所投影的图像光束的路径上的手持装置200，并且处理模块110可响应于检测到手持装置200而通过投影镜头模块130所投影的图像光束建立虚拟场景。深度摄影机140还可以检测手持装置200的深度值、位移或转动等信息。处理模块110可根据手持装置200的深度值、位移或转动刷新(refresh)投影镜头模块130所投影的图像光束。如此，使用者可以通过手持装置200来与虚拟画布300上的虚拟场景或虚拟物件互动。
存储媒体150例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合。在本实施例中，存储媒体150存储关联于多种不同的虚拟场景的数据库。
手持装置200是具有可被投影图像的表面的物件。举例来说，手持装置200的外观可与乒乓球拍类似。在一些实施例中，手持装置200对应于特定的虚拟场景。处理模块110可通过深度摄影机140识别出手持装置200并且判断手持装置200所对应的虚拟场景。接着，处理模块110可从存储媒体150中的数据库存取对应于手持装置200的虚拟场景。处理模块110可响应于识别出手持装置200而通过投影镜头模块130所投影的图像光束建立对应于手持装置200的虚拟场景。
举例来说，若手持装置200的表面印制有渔网的图案，则处理模块110可通过深度摄影机140识别出手持装置200所对应的虚拟场景为金鱼池。若手持装置200的表面印制有铲子的图案，则处理模块110可通过深度摄影机140识别出手持装置200所对应的虚拟场景为花园。
在一些实施例中，互动式投影系统10还包括耦接于处理模块110的扬声器160。在处理模块110建立完对应于手持装置200的虚拟场景后，扬声器160可以发出与该虚拟场景相关的音效。
图2根据本发明的实施例示出由互动式投影系统10判断虚拟场景的流程图。在步骤S201中，处理模块110通过深度摄影机140检测和识别手持装置200，并且判断手持装置200对应的虚拟场景。举例来说，处理模块110可根据手持装置200表面上的印刷图案、手持装置200的形状或手持装置200上的标签(例如：射频识别码(RF ID)或QR码)来判断手持装置200对应的虚拟场景。
在步骤S202中，处理模块110判断存储媒体150中的数据库是否存储了与手持装置200相对应的虚拟场景的信息。若所述数据库未存储与手持装置200相对应的虚拟场景的信息，则进入步骤S203。若所述数据库存储了与手持装置200相对应的虚拟场景的信息，则进入步骤S204。在步骤S203中，处理模块110判断不建立对应于手持装置200的虚拟场景。在步骤S204中，处理模块110判断建立对应于手持装置200的虚拟场景。
图3A根据本发明的实施例示出建立虚拟场景的流程图，其中图3A中的步骤可由如图1所示的互动式投影系统10实施。在处理模块110判断完与手持装置200相对应的虚拟场景后，在步骤S301中，处理模块110通过投影镜头模块130在虚拟画布300上投影出对应于虚拟场景的第一虚拟图像310，其中第一虚拟图像310可包括一或多个虚拟物件。此时，位于投影镜头模块130所投影的图像光束的路径上的手持装置200上也被投影了第一虚拟图像310。
以图3B为例，图3B根据本发明的实施例示出投影第一虚拟图像310的示意图。举例来说，若处理模块110通过深度摄影机140识别出与手持装置200相对应的虚拟场景是金鱼池，则处理模块110可通过投影镜头模块130在虚拟画布300上投影出显示为金鱼池的第一虚拟图像310，其中第一虚拟图像310可包括显示为金鱼的虚拟物件311。此时，手持装置200上也被投影了显示为金鱼池的第一虚拟图像310。举另一例来说，若处理模块110通过深度摄影机140识别出与手持装置200相对应的虚拟场景是花园，则处理模块110可通过投影镜头模块130在虚拟画布300上投影出显示为土壤的第一虚拟图像310，其中第一虚拟图像310可包括显示为秧苗的虚拟物件311。此时，手持装置200上也被投影了显示为土壤的第一虚拟图像310。
回到图3A，在步骤S302中，处理模块110通过深度摄影机140检测手持装置200的三维坐标，其中所述三维坐标可包括手持装置200的深度值。
在步骤S303中，处理模块110根据手持装置200的三维坐标而通过投影镜头模块130在手持装置200上投影出对应于虚拟场景且不同于第一虚拟图像310的第二虚拟图像320，如图3C所示。图3C根据本发明的实施例示出投影第二虚拟图像320的示意图。参照图3B和图3C，如图3B所示的投影在手持装置200上的第一虚拟图像310将被如图3C所示的第二虚拟图像320取代。举例来说，假设对应于手持装置200的虚拟场景为金鱼池，则处理模块110可通过投影镜头模块130在手持装置200上投影出显示为渔网的第二虚拟图像320。
回到图3A，在步骤S304中，处理模块110根据手持装置200的位移或转动来刷新第一虚拟图像310和/或第二虚拟图像320。举例来说，处理模块110可通过如图4A或图5A所揭示的方法来刷新第一虚拟图像310和/或第二虚拟图像320。
图4A根据本发明的实施例示出刷新第二虚拟图像320的流程图，其中图4A中的步骤可由如图1所示的互动式投影系统10实施。在步骤S401中，处理模块110通过深度摄影机140检测手持装置200的位移，其中位移例如是水平的位移或垂直的位移。图4B根据本发明的实施例示出手持装置200水平地移动的示意图。在图4B中，手持装置200在水平的二维平面HP上移动，其中在二维平面HP上的每一点的深度值相同。图4C根据本发明的实施例示出手持装置200垂直地移动的示意图。在图4C中，当手持装置200垂直地移动时，深度摄影机140所量测的手持装置200的深度值将会变化。在本实施例中，手持装置200的深度值越高，代表手持装置200越接近虚拟画布300。手持装置200的深度值越低，代表手持装置200越远离虚拟画布300。
在一些实施例中，手持装置200上可印制定位点以辅助处理模块110检测手持装置200的位移。以图4C为例，若处理模块110通过深度摄影机140所检测到手持装置200上的定位点210变大，代表手持装置200正向着投影镜头模块140移动并且远离虚拟画布300(即：手持装置200的深度值降低)。换句话说，处理模块110可根据定位点210的尺寸变化来判断手持装置200的深度值变化。
回到图4A，在步骤S402中，处理模块110判断手持装置200的深度值变化是否高于深度值阈值。若手持装置200的深度值变化高于深度值阈值，则进入步骤S403。若手持装置200的深度值变化未高于深度值阈值，则进入步骤S404。由于处理模块110会根据手持装置200的深度值的变化来刷新投影在手持装置200上的第二虚拟图像320，因此，当持有手持装置200的使用者无法稳定地操作手持装置200而使得手持装置200的深度值不断地变化时，第二虚拟图像320的刷新频率将有可能过高。深度值阈值可经配置以使第二虚拟图像320具有适当的刷新频率。举例来说，深度值阈值可配置为0.5厘米。如此，处理模块110只有在手持装置200的深度值的变化超过0.5厘米时才判断根据深度值变化刷新第二虚拟图像320。
在步骤S403中，处理模块110根据手持装置200的深度值变化而放大或缩小第二虚拟图像320。以图4C为例，处理模块110可以在手持装置200的深度值变小时(即：手持装置200向投影镜头模块130移动并且远离虚拟画布300)，将投影在手持装置200上的第二虚拟图像320放大。若第二虚拟图像320中存在虚拟物件311，则虚拟物件311也会一并被放大。另一方面，处理模块110可以在手持装置200的深度值变大时(即：手持装置200向虚拟画布300移动并且远离投影镜头模块130)，将投影在手持装置200上的第二虚拟图像320缩小。若第二虚拟图像320中存在虚拟物件311，则虚拟物件311也会一并被缩小。
回到图4A，在步骤S404中，处理模块110通过深度摄影机140检测手持装置200的转动。举例来说，处理模块110可根据手持装置200在二维平面HP上的投影面积变化判断手持装置200是否转动。图4D根据本发明的实施例示出手持装置200转动的示意图。处理模块110可根据手持装置200在二维平面HP上的投影面积从投影面积A1改变为投影面积A2而判断手持装置200发生转动以及判断出手持装置200转动的角度。图4E根据本发明的实施例示出具有定位点210的手持装置200的示意图。在一些实施例中，定位点210可用以辅助处理模块110判断手持装置200的转动。举例来说，处理模块110可通过深度摄影机140检测定位点210的坐标变化，从而根据定位点210的坐标变化判断手持装置200转动的角度。
回到图4A，在步骤S405中，处理模块110判断手持装置200的转动变化是否高于转动阈值。若手持装置200的转动变化高于转动阈值，则进入S406。若手持装置200的转动变化未高于转动阈值，则进入S407。由于处理模块110会根据手持装置200的转动角度来刷新投影在手持装置200上的第二虚拟图像320，因此，当持有手持装置200的使用者无法稳定地操作手持装置200而使得手持装置200不断地转动时，第二虚拟图像320的刷新频率将有可能过高。转动阈值可经配置以使第二虚拟图像320具有适当的刷新频率。举例来说，转动阈值可配置为15度。如此，处理模块110只有在手持装置200的转动角度的变化超过15度时才判断根据转动角度刷新第二虚拟图像320。
在步骤S406中，处理模块110根据手持装置200的转动调整第二虚拟图像320的形状。以图4D为例，处理模块110可以在手持装置200转动后将投影在手持装置200上的虚拟图像由第二虚拟图像320调整为适用于转动后的手持装置200的第三虚拟图像321。举例来说，若第二虚拟图像320为渔网，则第三虚拟图像321可以是倾斜的渔网。
回到图4A，在步骤S407中，处理模块110刷新投影在手持装置200上的第二虚拟图像320。具体来说，处理模块110可根据步骤S403和步骤S406的执行结果来更新第二虚拟图像320(例如：使第二虚拟图像320放大、缩小或改变形状)，并且将更新后的第二虚拟图像320投影至手持装置200。
值得注意的是，步骤S401至步骤S407的执行顺序并不限于如图4A所示的流程。举例来说，步骤S404至步骤S406可先于步骤S401至步骤S403被执行，本发明并不限制于此。
图5A根据本发明的实施例示出使第一虚拟图像310与第二虚拟图像320互动的流程图，其中图5A中的步骤可由如图1所示的互动式投影系统10实施。在步骤S501中，处理模块110通过深度摄影机140检测手持装置200的位移和转动。
在步骤S502中，处理模块110判断虚拟画布300的深度值与手持装置200的深度值的差异是否小于深度值差异阈值。若虚拟画布300的深度值与手持装置200的深度值的差异小于深度值差异阈值，则进入步骤S504。若虚拟画布300的深度值与手持装置200的深度值的差异未小于深度值差异阈值，则进入步骤S503。
在步骤S503中，处理模块110不使投影在虚拟画布300上的第一虚拟图像310与投影在手持装置200上的第二虚拟图像320互动。
举例来说，若第一虚拟图像310为金鱼池且第二虚拟图像320为渔网，则第一虚拟图像310的深度值与第二虚拟图像320的深度值的差异过大代表渔网并没有与金鱼池的水面接触。因此，处理模块110会将第一虚拟图像310以及第二虚拟图像320配置为不相互互动。相对来说，虚拟画布300的深度值与手持装置200的深度值的差异小于深度值差异阈值代表渔网与金鱼池的水面接触。因此，处理模块110会将第一虚拟图像310以及第二虚拟图像320配置为相互互动。
在步骤S504中，处理模块110判断手持装置200的转动变化是否高于转动阈值。若手持装置200的转动变化高于转动阈值，则进入S505。若手持装置200的转动变化未高于转动阈值，则进入S506。
在步骤S505中，处理模块110根据第一互动模式刷新第一虚拟图像310以及第二虚拟图像320。在步骤S506中，处理模块110根据第二互动模式刷新第一虚拟图像310以及第二虚拟图像320，其中第二互动模式不同于第一互动模式。简单来说，手持装置200被转动时手持装置200与虚拟画布300的互动模式不同于手持装置200未被转动时手持装置200与虚拟画布300的互动模式。
图5B根据本发明的实施例示出相互互动后的第一虚拟图像310以及第二虚拟图像320的示意图。如图5B所示，在使用者启动投影机100后，投影机100可以投影特定的虚拟场景供使用者游玩。例如，在深度摄影机140检测到手持装置后，由于此时的手持装置为渔网造型，故投影机100根据渔网造型的手持装置而可以对应的在虚拟画布300投影出像是金鱼池的第一虚拟图像310。金鱼池之中可具有像是金鱼等类型的虚拟物件。投影机100并可在手持装置200上投影出像是渔网的图像。持有手持装置200的使用者就像是拿着渔网一般。使用者可以将手持装置200移向被投影成金鱼池的虚拟画布300。虚拟画布300中的虚拟物件可以与手持装置200产生互动。例如，转动手持装置200并向金鱼移动时，金鱼可被手持装置200捞起。此外，虚拟画布300中的第一虚拟图像310也可与手持装置200产生互动。例如，当手持装置200水平移动时，手持装置200可在金鱼池的水面上产生涟漪。据此，互动式投影系统10提供使用者沉浸式的使用者体验。
具体来说，假设投影在虚拟画布300上的第一虚拟图像310为金鱼池，并且投影在手持装置200上的第二虚拟图像320为渔网。第一互动模式代表渔网能够捞起金鱼的互动模式，并且第二互动模式代表渔网不能够捞起金鱼的互动模式。当处理模块110执行第一互动模式时，若手持装置200(即：渔网)十分接近第一虚拟图像310(即：金鱼池)中的虚拟物件311(即：金鱼)，则处理模块110可将虚拟物件311从第一虚拟图像310转移到第二虚拟图像320。因此，虚拟物件311看起来就像是被手持装置200自虚拟画布300捞起。当处理模块110执行第二互动模式时，就算手持装置200十分接近第一虚拟图像310中的虚拟物件311，处理模块110也不会将虚拟物件311从第一虚拟图像310转移到第二虚拟图像320。手持装置200仅能在第一虚拟图像310上产生涟漪(ripple)。
除了像是捞金鱼的游玩体验之外，互动式投影系统10还可以提供使用者诸如炒菜或打地鼠等不同类型的游玩体验，本发明并不限制于此。
图6根据本发明的实施例示出互动式投影方法的流程图，其中图6中的步骤可由如图1所示的互动式投影系统10实施。在步骤S601中，使投影机产生虚拟画布。在步骤S602中，使用深度摄影机检测对应于虚拟场景的手持装置。在步骤S603中，响应于深度摄影机检测到手持装置而在虚拟画布上投影出对应于虚拟场景的第一虚拟图像，并且在手持装置上投影出对应于虚拟场景的第二虚拟图像，其中所述第二虚拟图像与所述第一虚拟图像不同。
综上所述，本发明的互动式投影系统可检测手持装置，并且分别在虚拟画布以及手持装置上投影出不同的虚拟图像。互动式投影系统可以响应于手持装置的位移或转动来使虚拟画布上的虚拟图像以及手持装置上的虚拟图像互动。通过本发明的互动式投影系统，投影机能为使用者提供更多类型的虚拟场景，并且使用者能以更多样化的方式与虚拟场景互动。
用于本发明的所揭示实施例的详细描述中的元件、动作或指令不应解释为对本发明来说为绝对关键或必要的，除非明确地如此描述。而且，如本文中所使用，不定冠词“一”可以包含大于一个项目。如果打算指仅一个项目，那么将使用术语“单一”或类似语言。此外，如本文中所使用，在多个项目和/或多个项目种类的列表之前的术语“中的任一者”希望包含所述项目和/或项目种类分别地或结合其他项目和/或其他项目种类“中的任一者”、“中的任何组合”、“中的任何多个”和/或“中的多个的任何组合”。此外，如本文中所使用，术语“集合”意图包含任何数目的项，包含零个。此外，如本文中所使用，术语“数目”意图包含任何数目，包含零。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中的技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视后权利要求所界定的为准。

Claims (18)

1.一种互动式投影系统，包括：
手持装置，对应于虚拟场景；以及
投影机，包括：
光源模块，提供照明光束；
投影镜头模块，将所述照明光束转换为图像光束，并投影所述图像光束以产生虚拟画布；
深度摄影机，检测所述手持装置；
存储媒体，存储关联于所述虚拟场景的数据库；以及
处理模块，耦接所述光源模块、所述投影镜头模块、所述深度摄影机以及所述存储媒体，其中所述处理模块响应于所述深度摄影机检测到所述手持装置而存取所述数据库，藉以通过所述投影镜头模块在所述虚拟画布上投影出对应于所述虚拟场景的第一虚拟图像，并且在所述手持装置上投影出对应于所述虚拟场景的第二虚拟图像，其中所述第二虚拟图像与所述第一虚拟图像不同。
2.根据权利要求1所述的互动式投影系统，其中所述处理模块根据所述手持装置的位移以及转动的至少其中之一刷新所述第一虚拟图像以及所述第二虚拟图像。
3.根据权利要求2所述的互动式投影系统，其中所述处理模块响应于所述手持装置的深度值变化而放大或缩小所述第二虚拟图像。
4.根据权利要求3所述的互动式投影系统，其中所述处理模块响应于所述手持装置的所述深度值变化超过第一阈值而放大或缩小所述第二虚拟图像。
5.根据权利要求2所述的互动式投影系统，其中所述处理模块响应于所述手持装置的所述转动而调整所述第二虚拟图像的形状。
6.根据权利要求5所述的互动式投影系统，其中所述处理模块响应于所述手持装置的所述转动超过第二阈值而调整所述第二虚拟图像的所述形状。
7.根据权利要求2所述的互动式投影系统，其中所述处理模块响应于所述虚拟画布的第一深度值以及所述手持装置的第二深度值的差异小于第三阈值而使所述第一虚拟图像与所述第二虚拟图像互动。
8.根据权利要求7所述的互动式投影系统，其中所述处理模块响应于所述手持装置发生转动而根据第一互动模式刷新所述第一虚拟图像以及所述第二虚拟图像，并且所述处理模块响应于所述手持装置未发生转动而根据不同于所述第一互动模式的第二互动模式刷新所述第一虚拟图像以及所述第二虚拟图像。
9.根据权利要求8所述的互动式投影系统，其中所述第一虚拟图像包括虚拟物件，并且所述处理模块基于所述第一互动模式而将所述虚拟物件从所述第一虚拟图像转移到所述第二虚拟图像。
10.一种互动式投影方法，包括：
使投影机产生虚拟画布；
使用深度摄影机检测对应于虚拟场景的手持装置；以及
响应于所述深度摄影机检测到所述手持装置而在所述虚拟画布上投影出对应于所述虚拟场景的第一虚拟图像，并且在所述手持装置上投影出对应于所述虚拟场景的第二虚拟图像，其中所述第二虚拟图像与所述第一虚拟图像不同。
11.根据权利要求10所述的互动式投影方法，还包括：
根据所述手持装置的位移以及转动的至少其中之一刷新所述第一虚拟图像以及所述第二虚拟图像。
12.根据权利要求11所述的互动式投影方法，还包括：
响应于所述手持装置的深度值变化而放大或缩小所述第二虚拟图像。
13.根据权利要求12所述的互动式投影方法，还包括：
响应于所述手持装置的所述深度值变化超过第一阈值而放大或缩小所述第二虚拟图像。
14.根据权利要求11所述的互动式投影方法，还包括：
响应于所述手持装置的所述转动而调整所述第二虚拟图像的形状。
15.根据权利要求14所述的互动式投影方法，还包括：
响应于所述手持装置的所述转动超过第二阈值而调整所述第二虚拟图像的所述形状。
16.根据权利要求11所述的互动式投影方法，还包括：
响应于所述虚拟画布的第一深度值以及所述手持装置的第二深度值的差异小于第三阈值而使所述第一虚拟图像与所述第二虚拟图像互动。
17.根据权利要求16所述的互动式投影方法，还包括：
响应于所述手持装置发生转动而根据第一互动模式刷新所述第一虚拟图像以及所述第二虚拟图像；以及
响应于所述手持装置未发生转动而根据不同于所述第一互动模式的第二互动模式刷新所述第一虚拟图像以及所述第二虚拟图像。
18.根据权利要求17所述的互动式投影方法，其中所述第一虚拟图像包括虚拟物件，并且所述互动式投影方法还包括：
基于所述第一互动模式而将所述虚拟物件从所述第一虚拟图像转移到所述第二虚拟图像。
CN201910426178.5A 2018-05-21 2019-05-21 互动式投影系统和互动式投影方法 Pending CN110507983A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862674577P 2018-05-21 2018-05-21
US62/674,577 2018-05-21

Publications (1)

Publication Number Publication Date
CN110507983A true CN110507983A (zh) 2019-11-29

Family

ID=68622422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910426178.5A Pending CN110507983A (zh) 2018-05-21 2019-05-21 互动式投影系统和互动式投影方法

Country Status (3)

Country Link
US (1) US10921935B2 (zh)
CN (1) CN110507983A (zh)
TW (1) TWI735882B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827561B (zh) * 2022-03-07 2023-03-28 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201899867U (zh) * 2010-09-29 2011-07-20 上海科睿展览展示工程科技有限公司 一种模拟游戏系统
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
US20150179147A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Trimming content for projection onto a target
CN106897688A (zh) * 2017-02-21 2017-06-27 网易（杭州）网络有限公司 交互式投影装置、控制交互式投影的方法和可读存储介质
CN107925739A (zh) * 2015-09-02 2018-04-17 株式会社万代南梦宫娱乐 投影系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8902158B2 (en) * 2011-10-21 2014-12-02 Disney Enterprises, Inc. Multi-user interaction with handheld projectors
US10657694B2 (en) * 2012-10-15 2020-05-19 Tangible Play, Inc. Activity surface detection, display and enhancement of a virtual scene
US11003305B2 (en) * 2016-11-18 2021-05-11 Zspace, Inc. 3D user interface
JP2019057903A (ja) * 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10911512B2 (en) * 2017-09-05 2021-02-02 Amazon Technologies, Inc. Personalized content streams using aligned encoded content segments
CN107846582B (zh) * 2017-11-21 2019-12-03 深圳市至高乐商业管理有限公司 一种投影沙池的图像处理方法和系统
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201899867U (zh) * 2010-09-29 2011-07-20 上海科睿展览展示工程科技有限公司 一种模拟游戏系统
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
US20150179147A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Trimming content for projection onto a target
CN105830439A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 微调用于投影到目标上的内容
CN107925739A (zh) * 2015-09-02 2018-04-17 株式会社万代南梦宫娱乐 投影系统
CN106897688A (zh) * 2017-02-21 2017-06-27 网易（杭州）网络有限公司 交互式投影装置、控制交互式投影的方法和可读存储介质

Also Published As

Publication number Publication date
US20200257406A1 (en) 2020-08-13
US10921935B2 (en) 2021-02-16
TWI735882B (zh) 2021-08-11
TW202004427A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
TWI442311B (zh) 在遊戲中使用三維環境模型
TWI414335B (zh) 決定附球控制器的位置與移動
US8970624B2 (en) Entertainment device, system, and method
US10252178B2 (en) Toy system with manually operated scanner
JP5038465B2 (ja) 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US20110304611A1 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
CN108682038A (zh) 位姿确定方法、装置及存储介质
US10500482B2 (en) Method of operating a video gaming system
WO2007037227A1 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
KR20140024895A (ko) 투사된 참조 패턴을 갖는 물체 추적
JP2011253539A (ja) パターンに基づくコンピュータビジョンを用いるコンピュータ装置のための入力
US9955120B2 (en) Multiuser telepresence interaction
JP2011189066A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
WO2016056317A1 (ja) 情報処理装置および情報処理方法
JP2007300985A (ja) ゲームプログラムおよびゲーム装置
JP7257370B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20100215215A1 (en) Object detecting apparatus, interactive system, object detecting method, interactive system realizing method, and recording medium
CN110152293A (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN110507983A (zh) 互动式投影系统和互动式投影方法
JP2004212213A (ja) 動作データ作成用コンピュータプログラムパッケージ、動作データ作成方法及び基準マーカーユニット
JP5373744B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
WO2011158599A1 (ja) ビデオゲーム装置、ビデオゲーム制御プログラム、ビデオゲーム制御方法
JP5592555B1 (ja) ゲーム装置及びプログラム
TWI490628B (zh) Virtual reality video control method
JP2007267850A (ja) プログラム、情報記憶媒体、及び画像生成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication