CN110908569B - 虚实影像的互动方法及装置 - Google Patents

虚实影像的互动方法及装置 Download PDF

Info

Publication number
CN110908569B
CN110908569B CN201910019126.6A CN201910019126A CN110908569B CN 110908569 B CN110908569 B CN 110908569B CN 201910019126 A CN201910019126 A CN 201910019126A CN 110908569 B CN110908569 B CN 110908569B
Authority
CN
China
Prior art keywords
transparent display
target object
user
information
pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910019126.6A
Other languages
English (en)
Other versions
CN110908569A (zh
Inventor
张志嘉
林郁欣
王必先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Original Assignee
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI, Intellectual Property Innovation Corp filed Critical Industrial Technology Research Institute ITRI
Publication of CN110908569A publication Critical patent/CN110908569A/zh
Application granted granted Critical
Publication of CN110908569B publication Critical patent/CN110908569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种虚实影像的互动方法及装置。所述方法包括下列步骤：处理器检测使用者对于透明显示器的指向操作，并判断指向操作是否触发透明显示器；若有触发透明显示器，判断指向操作在透明显示器上的触发位置是否存在提示信息；若存在提示信息，对提示信息进行互动；以及若不存在提示信息，对指向操作所指向的位于透明显示器相对于使用者另一侧的目标物进行互动。

Description

虚实影像的互动方法及装置
技术领域
本发明涉及信息显示领域，且特别是有关于一种虚实影像的互动方法及装置。
背景技术
透明显示器依其技术原理，可分为穿透式透明显示器与投影式透明显示器。其中，穿透式透明显示器是将显示面板制作成透明可透视，投影式透明显示器则运用投影方式，将影像投射到可反光且兼具透明特性的基材上，达到透明显示的效果。
透明显示器具有透明、轻薄等特性，可将显示器上显示的虚拟影像与现实世界的场景结合，赋予观看者一种直观且直觉的互动体验。观看者不仅可透过透明显示器观看到实物，同时也可在透明显示器上看到叠合在实物上或显示在其周围的信息，甚至透过触碰技术与透明显示器上的显示信息互动。
透明显示器目前已广泛地导入车用抬头显示器、自动贩卖机、商品橱窗、博物馆展品导览、观光车辆导览等应用中。然而，在使用者观看位于透明显示器相对于使用者另一侧的目标物的情况下，若透明显示器上显示的虚拟物也出现在使用者的视线上或其周围，此时透明显示器针对目标物与虚拟物显示的物件信息可能会重叠，此将造成信息混乱，以致使用者产生混淆。
举例来说，图1是现有显示目标物信息的示意图。请参照图1，当使用者10透过透明显示器12观看相对于使用者另一侧的目标物14时，透明显示器12上显示的虚拟物16也出现在使用者10的视线上，此时透明显示器12针对目标物14与虚拟物16显示的物件信息14a与16a将会重叠，此将造成使用者信息混乱，无法明确分辨物件信息14a与16a所指示的物件。
发明内容
为了解决上述技术问题，本发明一实施例目的在于提供一种虚实影像的互动方法，其中包括下列步骤：处理器检测使用者对于透明显示器的指向操作，并判断指向操作是否触发透明显示器；若有触发透明显示器，判断指向操作在透明显示器上的触发位置是否存在提示信息；若存在提示信息，对提示信息进行互动；以及若不存在提示信息，对指向操作所指向的位于透明显示器相对于使用者另一侧的目标物进行互动。
本发明一实施例还提供了一种虚实影像的互动装置，其中包括：透明显示器；第一信息采集装置，采集明显示器相对于观看透明显示器的使用者另一侧的外部目标物信息；第二信息采集装置，采集使用者的信息；以及处理器，耦接透明显示器、第一信息采集装置及第二信息采集装置，载入并执行多个程序指令以：利用使用者的信息检测使用者对于透明显示器的指向操作，并判断指向操作是否触发透明显示器；若有触发透明显示器，判断指向操作在透明显示器上的触发位置是否存在提示信息；若存在提示信息，对提示信息与使用者进行互动；以及若不存在提示信息，对指向操作所指向的位于透明显示器相对于使用者另一侧的目标物进行互动。
附图说明
图1是习知显示目标物信息的示意图。
图2是依照本发明一实施例所绘示的虚实影像的互动装置的框图。
图3是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图4是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图5是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图6是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图7是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图8是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图9是依照本发明一实施例所绘示的虚实影像的互动方法的示意图。
图10是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
图11是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。
符号说明：
10、90：使用者
12、92：透明显示器
14、94：目标物
14a、16a、94a：物件信息
16：虚拟物
20：虚实影像的互动装置
21：第二信息采集装置
22：第一信息采集装置
23：透明显示器
24：存储装置
25：处理器
96：目标物提示点
S302～S310、S402～S414、S502～S512、S602～S614、S702～S712、S802～S810、S1002～S1012、S1102～S1110：步骤
具体实施方式
为让本发明能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本发明一实施例通过检测使用者的指向操作并判断其是否在透明显示器上产生触发行为，而当检测到触发行为时，即根据触发位置是否存在提示信息，来决定后续的互动方式。其中，若触发位置存在提示信息，可推定使用者欲与提示信息进行互动，故针对提示信息进行互动；反之，若触发位置不存在提示信息，则可推定使用者欲与位在透明显示器相对于使用者另一侧的目标物进行互动，故针对目标物进行互动。由此，不仅可正确地反应使用者的互动操作且可避免使用者对显示在透明显示器上的信息产生混淆。
图2是依照本发明一实施例所绘示的虚实影像的互动装置的框图。请参照图2，本实施例的虚实影像的互动装置20例如是具备透明显示功能的电子装置，其中包括第二信息采集装置21、第一信息采集装置22、透明显示器23、存储装置24及处理器25，其中的第二信息采集装置21是用于采集使用者信息，例如指向方向，此指向方向也可以是由影像传感器检测视线方向、遥控器指向方向、触控和眼球投影方向等指向行为获得，不限于由相机捕捉之使用者影像的指向行为。第一信息采集装置22是用于外部物件辨识定位，也可以是用于物件的网络通信设备定位，例如蓝牙发射和接收器等物件的辨识和定位，不限于由相机捕捉的使用者影像的指向行为。
在一实施例中，第二信息采集装置21及第一信息采集装置22分别包括镜头及影像传感器，其中镜头可由数个凹凸透镜组合而成，且由步进马达或音圈马达等致动器驱动以改变透镜之间的相对位置，从而改变镜头的焦距，使得被摄物体可成像在影像传感器上。影像传感器中配置有电荷耦合元件(Charge coupled device，CCD)、互补性氧化金属半导体(Complementary metal-oxide semiconductor，CMOS)元件或其他种类的感光元件，而可感测进入镜头的光线强度，从而采集影像讯号以产生并输出影像。在本实施例中，第二信息采集装置21是用以采集包括观看透明显示器23的使用者的内部影像，第一信息采集装置22则是用以采集透明显示器23相对于使用者另一侧的外部目标物信息。在另一实施例中，第二信息采集装置21以及第一信息采集装置22也可包含完成辨识目标物功能之可程序化处理单元、微处理器(micro-processor)、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似电路元件，本发明并不限于此。
透明显示器23是指显示器可具有一定程度的光线穿透性，使用者观看时能够呈现出显示器相对于使用者另一侧的背景，例如是薄膜晶体管液晶显示器(Thin filmtransistor liquid crystal display，TFT-LCD)、场色序(Field sequential color)显示器、主动式有机发光显示器(Active matrix organic light emitting display，AMOLED)、电湿润显示器(Electrowetting display)等穿透式透明显示器，或者是投影式透明显示器。透明显示器23除了具备可透视且可显示信息的透明显示面板外，亦可与可检测使用者触碰操作的触控面板整合，而可提供使用者与显示信息进行互动。
存储装置24可以是任何型态的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)或类似元件或上述元件的组合。在本实施例中，存储装置24用以存储由第二信息采集装置21及第一信息采集装置22采集的影像资料，并存储由处理器25辨识影像中目标物所得的辨识资料，且记录可供处理器25存取并执行的计算机程序或指令。
处理器25例如是中央处理单元(central processing unit，CPU)，或是其他可程序化之一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignal processor，DSP)、可程序化控制器、特殊应用集成电路(application specificintegrated circuits，ASIC)、可程序化逻辑装置(programmable logic device，PLD)或其他类似装置或这些装置的组合。处理器25耦接第二信息采集装置21、第一信息采集装置22、透明显示器23及存储装置24，其例如可从存储装置24载入程序指令，并据以执行本发明实施例虚实影像的互动方法。在其他实施例中，互动装置20还可包括用以与外部装置进行通信的通信模块、用以追踪观看透明显示器23的使用者的眼球的眼球追踪(eye tracing)装置等元件，本实施例不限制元件种类。以下即举实施例说明本发明虚实影像的互动方法的详细步骤。
图3是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图3，本实施例的方法可适用于图2的互动装置20，以下即搭配互动装置20中的各项元件说明本发明的虚实影像的互动方法的详细步骤。
首先，由处理器25检测使用者对于透明显示器23的指向操作(步骤S302)。在一实施例中，处理器25可利用第二信息采集装置21采集包括观看透明显示器23的使用者的影像，并通过辨识影像中使用者的眼球位置来判断使用者的视线是否指向透明显示器23。在一实施例中，处理器25可利用额外配置的眼球追踪装置检测使用者眼球的角度以判定使用者的视线是否指向透明显示器23。在一实施例中，处理器25可通过辨识影像中的使用者手势或是使用者手持的指向装置(例如红外线发射器)的指向方向来判断使用者对透明显示器23的指向操作。在一实施例中，处理器25也可在第二信息采集装置21采集到使用者影像时，即判断使用者对透明显示器23的指向操作。本实施例不限定指向操作的检测方式。在一实施例中，上述的指向操作可由影像传感器检测视线方向、遥控器指向方向、触控和眼球投影方向等指向行为获得，不限于由相机捕捉之使用者影像的指向行为。
接着，处理器25可判断所检测到的指向操作是否触发透明显示器23(步骤S304)。在一实施例中，处理器25可通过配置在触发透明显示器23的触控面板检测使用者对于透明显示器23的触碰(例如手指、触控笔或其他物件的触碰)，以判断使用者的指向操作是否触发透明显示器23。在一实施例中，处理器25可通过判断使用者视线停留在透明显示器23上的时间或是手持指向装置指向透明显示器23的时间是否超过预设时间，来判断使用者的指向操作是否触发透明显示器23，并以视线停留在透明显示器23上的位置或手持指向装置指向透明显示器23的位置作为触发位置。本实施例不限定判定触发透明显示器23的方式。
若指向操作未触发透明显示器23，则流程会回到步骤S302，由处理器25继续检测指向操作。反之，若指向操作有触发透明显示器23，则处理器25会判断指向操作在透明显示器23上的触发位置是否存在提示信息(步骤S306)。
若触发位置存在提示信息，可确认使用者欲与提示信息进行互动，此时处理器25可就提示信息与使用者进行互动(步骤S308)。在一实施例中，所述的提示信息例如是图式(icon)或文字，处理器25在判定使用者的指向操作触发该图式或文字时，例如会启动该图式的对应功能，或显示该图式或文字的下一阶信息或其他信息，以与使用者进行互动。本实施例不限定与提示信息的互动方式。
另一方面，若触发位置不存在提示信息，可确认使用者欲与透明显示器23相对于使用者另一侧的目标物进行互动，此时处理器25可对指向操作所指向的位于透明显示器23相对于使用者另一侧的目标物进行互动(步骤S310)。在一实施例中，处理器25会判断指向操作所指向的方向是否有目标物存在，并在确认有目标物存在时，对该目标物进行辨识以在透明显示器23上的触发位置或其周围显示目标物的物件信息。
在上述实施例中，依据使用者的指向操作是否触发透明显示器上显示的提示信息，可确认使用者欲进行互动的对象，从而仅针对该对象进行互动，由此可避免使用者对透明显示器23上显示的信息产生混淆。
在一实施例中，互动装置20在判断使用者欲与透明显示器23相对于使用者另一侧的目标物进行互动时，例如可将指向操作在透明显示器23上的触发位置与人脸/眼球的位置结合，来确认使用者所欲进行互动的对象。
举例来说，图4是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图4，本实施例的方法可适用于图2的互动装置20，其步骤如下：
首先，由处理器25检测使用者对于透明显示器23的指向操作(步骤S402)。接着，处理器25可判断所检测到的指向操作是否触发透明显示器23(步骤S404)。若指向操作未触发透明显示器23，流程会回到步骤S402，由处理器25继续检测指向操作。反之，若指向操作有触发透明显示器23，处理器25可判断指向操作在透明显示器23上的触发位置是否存在提示信息(步骤S406)。若触发位置存在提示信息，可确认使用者欲与提示信息进行互动，此时处理器25可就提示信息与使用者进行互动(步骤S408)。上述步骤S402～S408与前述实施例的步骤S302～S308相同或相似，故其详细内容在此不再赘述。
在本实施例中，若触发位置不存在提示信息，处理器25可检测使用者的人脸或眼球的坐标，并定义由此坐标指向触发位置的指向矢量(步骤S410)，以判断透明显示器23相对于使用者另一侧由此指向矢量指向的外部位置是否有目标物(步骤S412)。也就是说，本实施例是以使用者人脸或眼球至指向操作的触发位置的连线来模拟使用者的视线，而将此连线(即指向矢量)延伸至透明显示器23相对于使用者另一侧，即可找出使用者所注视的目标物。
若指向矢量指向的外部位置有目标物，即可确认此目标物是使用者想要互动的对象，此时处理器25会辨识此目标物以在透明显示器23上显示此目标物的物件信息(步骤S414)。反之，若指向矢量指向的外部位置没有目标物，则流程会回到步骤S402，由处理器25继续检测指向操作。
在一实施例中，互动装置20在对提示信息进行互动时，例如会持续追踪使用者的指向操作是否重复触发透明显示器23，以判断使用者是否欲继续或结束互动。
举例来说，图5是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图5，本实施例的方法接续在图3的步骤S308之后，其步骤如下：
处理器25在对显示在触发位置上的提示信息进行互动(步骤S502)的同时，可持续检测使用者的指向操作是否重复触发透明显示器23(步骤S504)。其中，检测指向操作是否触发透明显示器23的方式可与前述实施例中的步骤S304相同或相似，故其细节在此不再赘述。
若未检测到重复触发，处理器25可在经过预设时间后终止互动(步骤S506)。在一实施例中，处理器25例如会考量互动的形式(图片、影片、文字)、互动信息的文字大小、移动速度等因素，计算出适于人眼阅读全文或其内容所需的舒适时间，时间长度例如介于0.2至0.5秒/字，从而在经过此舒适时间后，终止显示互动信息，而回到原先所显示的提示信息或是不再显示提示信息。
若检测到重复触发，处理器25可继续判断此重复触发的指向操作在透明显示器23上的触发位置是否在互动的提示区域内(步骤S508)。若此触发位置是在互动的提示区域内，代表使用者欲继续进行互动，故处理器25会更新互动(步骤S510)。即，处理器25会显示出互动的下一笔信息或显示出互动效果，本实施例不限定互动方式。
反之，若此触发位置不在互动的提示区域内，代表使用者不想再进行互动，此时处理器25可终止互动(步骤S512)。在一实施例中，处理器25例如会直接终止显示互动信息，而回到原先所显示的提示信息或是不再显示任何信息。
在一实施例中，互动装置20在对出现在透明显示器23相对于使用者另一侧的目标物预先进行辨识，由此可在使用者指向该目标物时，实时显示出目标物信息，可避免实时辨识所产生的停顿感。
举例来说，图6是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图6，本实施例的方法可适用于图2的互动装置20，其步骤如下：
首先，处理器25可检测使用者的视线方向或由使用者操作的指向装置的指向方向，以定义指向矢量(步骤S602)。如前述实施例所述，处理器25例如是通过辨识第二信息采集装置21所采集影像中使用者的眼球位置来判断使用者的视线方向、通过眼球追踪装置检测使用者眼球的角度以判定使用者的视线方向，或是通过辨识影像中使用者所操作的指向装置来判断其指向方向，而据以定义出指向矢量。本实施例不限定指向矢量的定义方式。
接着，处理器25可判断透明显示器23相对于使用者另一侧由此指向矢量指向的外部位置是否有目标物(步骤S604)。其中，若指向矢量指向的外部位置没有目标物，流程回到步骤S602，继续检测并定义指向矢量。若指向矢量指向的外部位置有目标物，处理器25可预辨识由第一信息采集装置22采集的位于透明显示器23相对于使用者另一侧的外部目标物信息中的目标物，以产生目标物的物件信息并存储于存储装置24中的数据库(步骤S606)。
然后，处理器25可继续判断使用者的指向操作是否触发透明显示器23(步骤S608)。若指向操作未触发透明显示器23，流程会回到步骤S602，由处理器25继续检测并定义指向矢量。反之，若指向操作有触发透明显示器23，处理器25可判断指向操作在透明显示器23上的触发位置是否存在提示信息(步骤S610)。若触发位置存在提示信息，可确认使用者欲与提示信息进行互动，此时处理器25可就提示信息与使用者进行互动(步骤S612)。上述步骤S608～S612与前述实施例的步骤S304～S308相同或相似，故其详细内容在此不再赘述。
在本实施例中，若触发位置不存在提示信息，可确认使用者欲与透明显示器23相对于使用者另一侧的目标物进行互动，此时针对指向操作所指向的位于透明显示器23相对于使用者另一侧的目标物，处理器25可读取数据库中所存储的目标物的物件信息，并将此物件信息显示于透明显示器23上的提示区域(步骤S614)。在一实施例中，假设位于透明显示器23相对于使用者另一侧的目标物为静态物体，此时处理器25可将先前判断的由指向矢量指向的目标物作为指向操作所指向的目标物，从而直接从数据库中取得存储的物件信息以进行显示。在一实施例中，假设位于透明显示器23相对于使用者另一侧的目标物为动态物体，此时处理器25可再次判断指向矢量所指向的外部位置是否有目标物，并在判断有目标物时，通过特征辨识来判断此目标物是否与先前判断的目标物相同，并根据判断结果从数据库中读取并显示先前存储的物件信息。
在一实施例中，互动装置20在对提示信息进行互动时，例如会追踪使用者对于互动的后续行为，以判断是否终止互动或改变互动方式。
举例来说，图7是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图7，本实施例的方法接续在图6的步骤S612之后，其步骤如下：
处理器25在对显示在触发位置上的提示信息进行互动(步骤S702)的同时，可追踪使用者的指向矢量，并判断此指向矢量是否跟随进行互动所产生的互动信息的文字阅读方向移动(步骤S704)。其中，本实施例假设处理器25对提示信息进行互动的方式为显示互动信息，此互动信息可包含一串文字，而依某文字阅读方向(例如水平向右或垂直向下的方向)显示于触发位置或其周围。据此，若判断使用者的指向矢量(视线方向或指向装置的指向方向)是跟随此文字阅读方向移动，可推定使用者正在阅读互动信息，此时处理器25可继续判断指向操作是否触发透明显示器23，以决定是否更新互动信息(步骤S706)。
另一方面，若指向矢量未跟随互动信息的文字阅读方向移动，处理器25可继续判断指向操作是否跟随目标物的移动方向移动(步骤S708)。其中，若指向矢量未跟随目标物的移动方向移动，可推定使用者并未专注于互动信息及/或目标物，在经过预设时间后，处理器25即会终止互动(步骤S710)。
而若指向矢量有跟随目标物的移动方向移动，可推定使用者专注于目标物，此时处理器25可读取数据库中所存储的目标物的物件信息，并显示此物件信息于提示区域(步骤S712)。步骤S712与图6中的步骤S614相同或相似，故其详细内容在此不再赘述。
通过上述方法，互动装置20即可通过追踪使用者专注的对象，而对应地执行互动操作(更新互动信息、终止互动或显示目标物信息)。
在一实施例中，互动装置20可支援多个使用者的互动操作。即，互动装置在与当前使用者进行互动的同时，也可检测其他使用者的互动行为，从而决定是否更改其针对当前使用者的互动方式。
举例来说，图8是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图8，本实施例的方法可适用于图2的互动装置20，其步骤如下：
首先，处理器25检测另一使用者对于透明显示器23的指向操作(步骤S802)，并判断所检测到的另一使用者的指向操作是否触发透明显示器23(步骤S804)。其中，若另一使用者的指向操作未触发透明显示器23，则流程回到步骤S802，继续检测或追踪另一使用者的指向操作。
若另一使用者的指向操作有触发透明显示器23，处理器25可根据另一使用者的指向操作在透明显示器23上的触发位置，判断此触发位置是否存在对应于当前使用者的指向操作的提示信息(步骤S806)。其中，若触发位置未存在上述提示信息，处理器25可对此另一使用者的指向操作所指向的位于透明显示器23相对于使用者另一侧的目标物进行互动(步骤S808)，例如可对该目标物进行辨识，以在透明显示器23上显示该目标物的物件信息。
然而，若触发位置存在上述提示信息，需要进一步追踪当前使用者的互动行为，来决定如何进行后续互动。详言之，处理器25会追踪当前使用者的指向矢量，并根据该指向矢量是否跟随提示信息的文字阅读方向移动及/或是否跟随目标物的移动方向移动，决定是否显示指向矢量所指向的目标物的物件信息(步骤S810)。在一实施例中，处理器25在判断当前使用者的指向矢量是跟随提示信息的文字阅读方向移动时，即确立当前使用者仍与提示信息有互动行为，因此不再追踪另一使用者的指向操作的触发行为，而仅针对当前使用者进行互动。在一实施例中，处理器25在判断当前使用者的指向矢量是跟随目标物的移动方向移动时，则确立当前使用者与目标物有互动行为，因此在透明显示器23上显示指向矢量所指向的目标物的物件信息。在一实施例中，处理器25在判断当前使用者的指向矢量并未跟随提示信息的文字阅读方向或目标物的移动方向移动时，则可确立当前使用者对于提示信息或目标物没有互动行为，此时可终止显示提示信息，避免该提示信息阻碍另一使用者观看目标物的视线。
在一实施例中，互动装置20可通过在透明显示器23上位于使用者注视目标物视线上的位置显示目标物提示点，以供使用者通过触碰此目标物提示点来确立互动行为。
举例来说，图9是依照本发明一实施例所绘示的虚实影像的互动方法的示意图。请参照图9，本实施例是在使用者90透过透明显示器92观看其相对于使用者另一侧的目标物94时，根据使用者90观看目标物94的视线方向，在透明显示器92上位于此视线上的位置显示目标物提示点96，以供使用者通过触碰此目标物提示点96，使透明显示器92显示出目标物94的物件信息94a。
图10是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图10，本实施例的方法可适用于图2的互动装置20，其步骤如下：
首先，处理器25可检测使用者的视线方向或由使用者操作指向装置的指向方向，以定义指向矢量(步骤S1002)。接着，处理器25可判断透明显示器23相对于使用者另一侧由此指向矢量指向的外部位置是否有目标物(步骤S1004)。其中，若指向矢量指向的外部位置没有目标物，流程回到步骤S1002，继续检测并定义指向矢量。若指向矢量指向的外部位置有目标物，处理器25可预辨识由第一信息采集装置22采集的位于透明显示器23相对于使用者另一侧的外部目标物信息中的目标物，以产生目标物的物件信息并存储于存储装置24中的数据库(步骤S1006)。上述步骤S1002～S1006可与前述实施例的步骤S602～S606相同或相似，故其详细内容在此不再赘述。
在本实施例中，处理器25在定义指向矢量之后，还会在此指向矢量于透明显示器23上的指向位置显示目标物提示点(步骤S1008)。此目标物提示点例如是一个易于使用者辨识及操作的特定图形或图示，其可显示在透明显示器23上既有显示信息的周围，而便于使用者进行与既有显示信息区隔的互动操作。
然后，处理器25可判断使用者的指向操作是否触发此目标物提示点(步骤S1010)。其中，若判断使用者的指向操作未触发此目标物提示点，流程回到步骤S1002，继续检测并定义指向矢量。
若判断使用者的指向操作有触发此目标物提示点，即可确立使用者欲与目标物进行互动，此时处理器25可读取数据库中所存储该目标物的物件信息，并将此物件信息显示于透明显示器23上的提示区域(步骤S1012)。
在一实施例中，若在上述步骤S1010中判断使用者的指向操作未触发目标物提示点，则在执行步骤S1012之前，处理器25可再额外判断指向操作在透明显示器23上的触发位置是否存在提示信息。若有存在提示信息，处理器25可就提示信息与使用者进行互动。反之，若不存在提示信息，处理器25会读取数据库中所存储该目标物的物件信息，并将此物件信息显示于透明显示器23上的提示区域。
在一实施例中，互动装置20是在确立使用者欲与目标物进行互动(即指向操作触发目标物提示点)时，才对该目标物进行辨识并产生及显示物件信息，由此节省实时辨识目标物所耗费的资源。
图11是依照本发明一实施例所绘示的虚实影像的互动方法的流程图。请同时参照图2及图11，本实施例的方法可适用于图2的互动装置20，其步骤如下：
首先，处理器25可检测使用者的视线方向或由使用者操作指向装置的指向方向，以定义指向矢量(步骤S1102)。接着，处理器25可判断透明显示器23相对于使用者另一侧由此指向矢量指向的外部位置是否有目标物(步骤S1104)。其中，若指向矢量指向的外部位置没有目标物，则流程回到步骤S1102，继续检测并定义指向矢量。
若指向矢量指向的外部位置有目标物，处理器25可在指向矢量于透明显示器23上的指向位置显示目标物提示点(步骤S1106)，并判断使用者的指向操作是否触发此目标物提示点(步骤S1108)。其中，若判断使用者的指向操作未触发此目标物提示点，则流程回到步骤S1102，继续检测并定义指向矢量。
若判断使用者的指向操作有触发此目标物提示点，即可确立使用者欲与目标物进行互动，此时处理器25可辨识由物件辨识定位装置22采集的位于透明显示器23相对于使用者另一侧的外部目标物信息中的目标物，以产生目标物的物件信息并显示于透明显示器23上的提示区域(步骤S1110)。
类似于图10的实施例，在一实施例中，若在上述步骤S1108中判断使用者的指向操作未触发目标物提示点，则在执行步骤S1110之前，处理器25可再额外判断指向操作在透明显示器23上的触发位置是否存在提示信息。若有存在提示信息，处理器25可就提示信息与使用者进行互动。反之，若不存在提示信息，处理器25会对目标物进行辨识以产生目标物的物件信息，并将此物件信息显示于透明显示器23上的提示区域。
本发明一实施例的虚实影像的互动方法及装置，可针对静态目标物、动态目标物、多人操作的情境，依据使用者视线、指向装置操作、手势等指向操作进行检测，并追踪其对于透明显示器的触发行为，据以推定使用者互动行为的对象，而进行对应的互动方式。由此，不仅可正确地反应使用者的互动操作，且可避免使用者对透明显示器上的显示信息产生混淆。
本发明还可有其他多种实施例，在不脱离本发明的精神和范围内，任何本领域的技术人员，可以在本发明的基础上做一些完善和更改，故本发明的保护范围当视权利要求书及其均等范围所界定的范围为准。

Claims (20)

1.一种虚实影像的互动方法，其特征在于，包括下列步骤：
处理器检测使用者对于透明显示器上的位置的指向操作，并判断所述指向操作是否触发所述透明显示器；
若有触发所述透明显示器，判断所述指向操作在所述透明显示器上的作为触发位置的所述位置是否存在提示信息以确认所述使用者是欲与所述提示信息进行互动或是欲与所述透明显示器相对于所述使用者另一侧的目标物进行互动，其中所述触发位置是所述使用者在所述透明显示器上的触碰位置，视线停留在所述透明显示器上的位置，或是由所述使用者操作的指向装置指向所述透明显示器的位置；
若存在所述提示信息，对所述提示信息进行互动；以及
若不存在所述提示信息，对所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的所述目标物进行互动。
2.如权利要求1所述的虚实影像的互动方法，其特征在于，对所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的目标物进行互动的步骤包括：
检测所述使用者的人脸或眼球的坐标，并定义由所述坐标指向所述触发位置的指向矢量；
判断所述透明显示器相对于所述使用者另一侧由所述指向矢量指向的外部位置是否有所述目标物；以及
若有所述目标物，辨识所述目标物以显示所述目标物的物件信息。
3.如权利要求1所述的虚实影像的互动方法，其特征在于，在对所述提示信息进行互动的步骤之后，还包括：
检测所述指向操作是否重复触发所述透明显示器；
若未检测到重复触发，在经过预设时间后终止所述互动；
若检测到重复触发，判断所述指向操作在所述透明显示器上的所述触发位置是否在所述互动的提示区域内；
若在所述提示区域内，更新所述互动；以及
若不在所述提示区域内，终止所述互动。
4.如权利要求1所述的虚实影像的互动方法，其特征在于，在检测使用者对于所述透明显示器的所述指向操作的步骤之前，还包括：
预辨识由第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并存储于数据库。
5.如权利要求1所述的虚实影像的互动方法，其特征在于，检测使用者对于所述透明显示器的所述指向操作的步骤包括：
检测所述使用者的所述视线的方向或由所述使用者操作的所述指向装置的指向方向，以定义指向矢量；
判断所述透明显示器相对于所述使用者另一侧由所述指向矢量指向的外部位置是否有所述目标物；以及
若有所述目标物，预辨识由第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并存储于数据库。
6.如权利要求5所述的虚实影像的互动方法，其特征在于，对所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的目标物进行互动的步骤包括：
读取所述数据库中所存储的所述目标物的物件信息，并显示所述物件信息于提示区域。
7.如权利要求5所述的虚实影像的互动方法，其特征在于，在对所述提示信息进行互动的步骤之后，还包括：
追踪所述指向矢量，并判断所述指向矢量是否跟随进行所述互动所产生的互动信息的文字阅读方向移动；
若所述指向矢量跟随所述互动信息的文字阅读方向移动，判断所述指向操作是否触发所述透明显示器，以决定是否更新所述互动信息；
若所述指向矢量未跟随所述互动信息的文字阅读方向移动，判断所述指向操作是否跟随所述目标物的移动方向移动；
若所述指向矢量跟随所述目标物的移动方向移动，读取所述数据库中所存储的所述目标物的物件信息，并显示所述物件信息于提示区域；以及
若所述指向矢量未跟随所述目标物的移动方向移动，在经过预设时间后终止所述互动。
8.如权利要求5所述的虚实影像的互动方法，其特征在于，还包括：
检测另一使用者对于所述透明显示器的指向操作，并判断所述指向操作是否触发所述透明显示器；
若有触发所述透明显示器，判断所述指向操作在所述透明显示器上的所述触发位置是否存在对应于所述使用者的所述指向操作的所述提示信息；
若不存在所述提示信息，对所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的目标物进行互动；以及
若存在所述提示信息，追踪所述使用者的所述指向矢量，并根据所述指向矢量是否跟随所述提示信息的文字阅读方向移动及是否跟随所述目标物的移动方向移动，决定是否显示所述指向矢量所指向的目标物的物件信息。
9.如权利要求5所述的虚实影像的互动方法，其特征在于，在预辨识由所述物件辨识定位装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并存储于数据库的步骤之后，还包括：
在所述指向矢量于所述透明显示器上的指向位置显示目标物提示点；
判断所述指向操作是否触发所述目标物提示点；以及
若所述指向操作触发所述目标物提示点，读取所述数据库中所存储的所述目标物的物件信息，并显示所述物件信息于提示区域。
10.如权利要求9所述的虚实影像的互动方法，其特征在于，若所述指向操作触发所述目标物提示点，所述方法还包括：
判断所述指向操作在所述透明显示器上的所述触发位置是否存在所述提示信息；
若存在所述提示信息，对所述提示信息进行互动；以及
若不存在所述提示信息，读取所述数据库中所存储的所述目标物的物件信息，并显示所述物件信息于提示区域。
11.如权利要求1所述的虚实影像的互动方法，其特征在于，还包括：
检测所述使用者的所述视线的方向或由所述使用者操作的所述指向装置的指向方向，以定义指向矢量；
判断所述透明显示器相对于所述使用者另一侧由所述指向矢量指向的外部位置是否有所述目标物；
若有所述目标物，在所述指向矢量于所述透明显示器上的指向位置显示目标物提示点；
判断所述指向操作是否触发所述目标物提示点；以及
若所述指向操作触发所述目标物提示点，辨识由第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并显示于提示区域。
12.如权利要求11所述的虚实影像的互动方法，其特征在于，若所述指向操作触发所述目标物提示点，所述方法还包括：
判断所述指向操作在所述透明显示器上的所述触发位置是否存在所述提示信息；
若存在所述提示信息，对所述提示信息进行互动；以及
若不存在所述提示信息，辨识由所述第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并显示于提示区域。
13.一种虚实影像的互动装置，其特征在于，包括：
透明显示器；
第一信息采集装置，采集所述透明显示器相对于观看所述透明显示器的使用者另一侧的外部目标物信息；
第二信息采集装置，采集所述使用者的信息；以及
处理器，耦接所述透明显示器、所述第一信息采集装置及所述第二信息采集装置，载入并执行多个程序指令以：
利用所述使用者的信息检测使用者对于所述透明显示器上的位置的指向操作，并判断所述指向操作是否触发所述透明显示器；
若有触发所述透明显示器，判断所述指向操作在所述透明显示器上的作为触发位置的所述位置是否存在提示信息以确认所述使用者是欲与所述提示信息进行互动或是欲与所述透明显示器相对于所述使用者另一侧的目标物进行互动，其中所述触发位置是所述使用者在所述透明显示器上的触碰位置，视线停留在所述透明显示器上的位置，或是由所述使用者操作的指向装置指向所述透明显示器的位置；
若存在所述提示信息，对所述提示信息与所述使用者进行互动；以及
若不存在所述提示信息，对所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的所述目标物进行互动。
14.如权利要求13所述的虚实影像的互动装置，其特征在于，所述处理器包括：
检测所述使用者的人脸或眼球的坐标，并定义由所述坐标指向所述触发位置的指向矢量；
判断所述透明显示器相对于所述使用者另一侧由所述指向矢量指向的外部位置是否有所述目标物；以及
若有所述目标物，辨识所述目标物以显示所述目标物的物件信息。
15.如权利要求13所述的虚实影像的互动装置，其特征在于，所述处理器还包括：
检测所述指向操作是否重复触发所述透明显示器；
若未检测到重复触发，在经过预设时间后终止所述互动；
若检测到重复触发，判断所述指向操作在所述透明显示器上的所述触发位置是否在所述互动的提示区域内；
若在所述提示区域内，更新所述互动；以及
若不在所述提示区域内，终止所述互动。
16.如权利要求13所述的虚实影像的互动装置，其特征在于，所述处理器包括：
检测所述使用者的所述视线的方向或由所述使用者操作的所述指向装置的指向方向，以定义指向矢量；
判断所述透明显示器相对于所述使用者另一侧由所述指向矢量指向的外部位置是否有所述目标物；以及
若有所述目标物，预辨识由所述第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并存储于数据库，其中
在显示对于所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的目标物的互动信息时，所述处理器包括读取所述数据库中所存储的所述目标物的物件信息，并显示所述物件信息于提示区域。
17.如权利要求16所述的虚实影像的互动装置，其特征在于，在对所述提示信息进行所述互动之后，所述处理器还包括：
追踪所述指向矢量，并判断所述指向矢量是否跟随进行所述互动所产生的互动信息的文字阅读方向移动；
若所述指向矢量跟随所述互动信息的文字阅读方向移动，判断所述指向操作是否触发所述透明显示器，以决定是否更新所述互动信息；
若所述指向矢量未跟随所述互动信息的文字阅读方向移动，判断所述指向操作是否跟随所述目标物的移动方向移动；
若所述指向矢量跟随所述目标物的移动方向移动，读取所述数据库中所存储的所述目标物的物件信息，并显示所述物件信息于提示区域；以及
若所述指向矢量未跟随所述目标物的移动方向移动，在经过预设时间后终止所述互动。
18.如权利要求16所述的虚实影像的互动装置，其特征在于，所述处理器还包括：
检测另一使用者对于所述透明显示器的指向操作，并判断所述指向操作是否触发所述透明显示器；
若有触发所述透明显示器，判断所述指向操作在所述透明显示器上的所述触发位置是否存在对应于所述使用者的所述指向操作的所述提示信息；
若不存在所述提示信息，对所述指向操作所指向的位于所述透明显示器相对于所述使用者另一侧的目标物进行互动；以及
若存在所述提示信息，追踪所述使用者的所述指向矢量，并根据所述指向矢量是否跟随所述提示信息的文字阅读方向移动及是否跟随所述目标物的移动方向移动，决定是否显示所述指向矢量所指向的目标物的物件信息。
19.如权利要求16所述的虚实影像的互动装置，其特征在于，所述处理器还包括：
在所述指向矢量于所述透明显示器上的指向位置显示目标物提示点；
判断所述指向操作是否触发所述目标物提示点；以及
若所述指向操作触发所述目标物提示点，辨识由所述第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并显示于提示区域。
20.如权利要求19所述的虚实影像的互动装置，其特征在于，若所述指向操作触发所述目标物提示点，所述互动装置还包括：
判断所述指向操作在所述透明显示器上的所述触发位置是否存在所述提示信息；
若存在所述提示信息，对所述提示信息进行互动；以及
若不存在所述提示信息，辨识由所述第一信息采集装置采集的位于所述透明显示器相对于所述使用者另一侧的外部目标物信息中的所述目标物，以产生所述目标物的物件信息并显示于提示区域。
CN201910019126.6A 2018-09-17 2019-01-09 虚实影像的互动方法及装置 Active CN110908569B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107132575A TWI691870B (zh) 2018-09-17 2018-09-17 虛實影像的互動方法及裝置
TW107132575 2018-09-17

Publications (2)

Publication Number Publication Date
CN110908569A CN110908569A (zh) 2020-03-24
CN110908569B true CN110908569B (zh) 2021-08-24

Family

ID=69773998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910019126.6A Active CN110908569B (zh) 2018-09-17 2019-01-09 虚实影像的互动方法及装置

Country Status (3)

Country Link
US (1) US10936079B2 (zh)
CN (1) CN110908569B (zh)
TW (1) TWI691870B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036442B2 (en) * 2019-05-10 2021-06-15 University Of Florida Research Foundation, Incorporated Transparent interactive printing interface
US11579752B1 (en) * 2021-07-20 2023-02-14 Sony Interactive Entertainment Inc. Augmented reality placement for user feedback
CN116402990A (zh) * 2022-01-05 2023-07-07 财团法人工业技术研究院 主动式互动导览系统以及主动式互动导览方法
CN114860148B (zh) * 2022-04-19 2024-01-16 北京字跳网络技术有限公司 一种交互方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN102866835A (zh) * 2012-09-27 2013-01-09 朱明� 一种互动信息屏系统
CN108268204A (zh) * 2016-12-30 2018-07-10 诚屏科技股份有限公司 电子白板系统及其电子白板与操作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5211120B2 (ja) 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
KR101343748B1 (ko) 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US20130316767A1 (en) 2012-05-23 2013-11-28 Hon Hai Precision Industry Co., Ltd. Electronic display structure
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
US20150253930A1 (en) * 2014-03-10 2015-09-10 International Business Machines Corporation Touchscreen for interfacing with a distant display
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
TWM488933U (en) * 2014-05-21 2014-11-01 Univ Far East Interactive multimedia display device
CN104820497B (zh) 2015-05-08 2017-12-22 东华大学 一种基于增强现实的3d交互显示系统
TWI578021B (zh) * 2015-08-19 2017-04-11 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
KR101838187B1 (ko) * 2016-03-25 2018-04-26 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
TWI659334B (zh) * 2016-12-12 2019-05-11 Industrial Technology Research Institute 透明顯示裝置、使用其之控制方法以及其之控制器
US10268263B2 (en) * 2017-04-20 2019-04-23 Microsoft Technology Licensing, Llc Vestibular anchoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN102866835A (zh) * 2012-09-27 2013-01-09 朱明� 一种互动信息屏系统
CN108268204A (zh) * 2016-12-30 2018-07-10 诚屏科技股份有限公司 电子白板系统及其电子白板与操作方法

Also Published As

Publication number Publication date
CN110908569A (zh) 2020-03-24
US20200089323A1 (en) 2020-03-19
TWI691870B (zh) 2020-04-21
TW202013151A (zh) 2020-04-01
US10936079B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
CN110908569B (zh) 虚实影像的互动方法及装置
US10761610B2 (en) Vehicle systems and methods for interaction detection
US10120454B2 (en) Gesture recognition control device
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US9483113B1 (en) Providing user input to a computing device with an eye closure
US9378581B2 (en) Approaches for highlighting active interface elements
US20180292907A1 (en) Gesture control system and method for smart home
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200142495A1 (en) Gesture recognition control device
WO2014126966A1 (en) Human-body-gesture-based region and volume selection for hmd
US20140053115A1 (en) Computer vision gesture based control of a device
US9898183B1 (en) Motions for object rendering and selection
KR102086495B1 (ko) 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
CN115981481A (zh) 界面显示方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant