CN103018905A - 头戴式体感操控显示系统及其方法 - Google Patents
头戴式体感操控显示系统及其方法 Download PDFInfo
- Publication number
- CN103018905A CN103018905A CN2011102866452A CN201110286645A CN103018905A CN 103018905 A CN103018905 A CN 103018905A CN 2011102866452 A CN2011102866452 A CN 2011102866452A CN 201110286645 A CN201110286645 A CN 201110286645A CN 103018905 A CN103018905 A CN 103018905A
- Authority
- CN
- China
- Prior art keywords
- user
- display system
- wear
- operation control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 8
- 230000003238 somatosensory effect Effects 0.000 title abstract 3
- 210000001508 eye Anatomy 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims description 40
- 210000003128 head Anatomy 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000035515 penetration Effects 0.000 claims description 10
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000010287 polarization Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012856 packing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 abstract 1
- 210000003414 extremity Anatomy 0.000 description 29
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000005224 forefinger Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明是一种头戴式体感操控显示系统及其方法，包括有基体、影像撷取装置、呈现装置及处理装置，其中呈现装置是设置在基体上并位于使用者眼睛观看的位置，而影像撷取装置则是设置在基体上并位于使用者眼睛的视野观看位置，并透过影像撷取装置将使用者自身的肢体动作画面撷取下来，由处理装置将撷取的肢体动作分析，令使用者的肢体动作不仅可以结合于呈现装置的影像画面中，更可与出现的影像物件产生互动，甚至经由处理装置进行分析，比对出特定的肢体动作，令符合预设的肢体动作行为产生各种的指令，以供进行指令下达并进行对应的操作。
Description
【技术领域】
本发明是关于一种头戴式显示系统，尤其是一种便于操控的头戴式体感操控显示系统及其方法。
【背景技术】
头戴式显示装置现身消费市场已有若干时间，业者曾经尝试推广，宣称让使用者不需耗费庞大空间，仅需配戴一套头戴式显示装置，就可以轻易拥有例如六、七十时显示器般的视觉享受，希望能取代一般电视等家用显示器。不幸地，由于投影电视一类产品不断改革创新，目前消费者只需在家预留出一面墙壁或准备一片投射幕，就可以非常方便地利用投影机投射出数十时的萤幕影像。相形之下，配戴于头上的头戴式显示装置由于重量限制，使用时并不舒服；尤其，显示装置遮蔽于眼前，一旦要调节音量或选台等，都还需要设法找到控制器或控制按键，使用上相当不便，使其市场占有率一直保持低迷。
部分业者尝试改变其市场定位，于是有人提出添加摄影机至头戴式显示装置，一种公知技术如图1所示，是利用所搭配的头戴式摄影机12，撷取配戴使用者所面临的真实世界影像，并与例如包括水平位置监测、铅直位置监测、头部姿势监测、身体部分监测等多重的监测器10，以及所搭配的处理器16将储存在影像储存18中的虚拟影像资料叠加，共同呈现在头戴式显示装置14上。
但是，此种头戴式显示装置因属于非穿透式，使得配戴使用者无法自行观察到外部真实世界状况，仅能凭借头戴式摄影机间接观察，由于头戴式摄影机的拍摄角度与配戴者利用自己眼睛观察的立体角度仍会存在些许偏差，除非使用者完全静止不动，否则此种偏差在实际行走或移动过程中将会导致距离误判而碰撞；再者，摄影机角度通常不如人眼视觉范围宽广，造成视野的限缩；又者，人眼可以藉由水晶体旁的六条肌肉迅速调整焦距，藉由眼球的不断振颤，使得空间上远近距离不一的物件都能清晰成像，但相对地，摄影机即便可以自动对焦，仍须花费比人眼更久的时间，造成响应延迟，故无法替代人眼观察。
另如图2所示，美国发明专利7573525揭露有一种头戴式摄影机2，搭配有头戴式显示装置24，藉由一组外加控制器25，控制摄影机的聚焦距离、并且可以将摄影机所拍摄画面资料呈现于头戴式显示装置24上，同样藉由外加的控制器25，调节拍摄画面在头戴式显示装置24上的上、下、左、右位置以及控制显示画面的放大、缩小。
此种设计虽然利用穿透式显示装置，让操作使用者可以同时透过显示装置而直接观察真实世界的物件，并且可以将拍摄画面同样被呈现于显示装置，但是使用者还需要手持外加的控制器，才能控制所呈现画面的位置及进行画面的播放，使得整体操作极不方便。尤其随着技术进步，现行摄影机已经极为轻便，并且可以单手操控，相较之下，该前案不仅需手持控制器，又需额外在头上配戴整组摄影机与显示装置，平添使用者负担。
因此，如何让头戴显示装置发挥较大效益，而且更可让使用者双手无须持握任何操作装置，即可符合人体工学地用肢体动作操控，充分提供配戴使用与操作上的方便性，将是本案所要聚焦的重点。
【发明内容】
本发明的一个目的在于提供一种可撷取使用者于真实世界中肢体动作作为操控指令，从而降低系统制造成本的头戴式体感操控显示系统。
本发明的另一个目的在于提供一种透过特定的肢体动作下达操控指令，使得系统结构简化而便于携行的头戴式体感操控显示系统。
本发明的再一个目的在于提供一种可将显示装置上显示的虚拟物件与使用者的特定肢体动作结合，使得操作符合人因工程而便于操控的头戴式体感操控显示系统。
本发明的又一个目的在于提供一种自动化且迅速地将使用者的肢体动作影像进行撷取分析并显示的头戴式体感操控显示方法。
本发明的又另一个目的在于提供一种透过分析使用者的肢体动作的方式进行对应肢体动作的指令下达，令操作上更方便的头戴式体感操控显示方法。
因此，本发明为一种头戴式体感操控显示系统，供依照一个使用者在一个预定影像撷取范围内的特定肢体动作控制显示影像，包括：一个供使用者配戴于头部的基体；一组设置于该基体、供撷取该使用者肢体在一个预定影像撷取范围内的动作影像的影像撷取装置；一组设置于该基体、对应该使用者眼睛位置的呈现装置；及一个接收该影像撷取装置传来的影像讯号，分析并当获得该影像讯号中、存在有上述特定肢体动作时，将对应上述特定肢体动作的虚拟操控界面影像呈现在该呈现装置上对应位置的处理装置。
而对应的头戴式体感操控显示方法，供分析及比对一个使用者在一个预定影像撷取范围内，是否进行复数特定肢体动作之一，且上述特定肢体动作分别被定义为特定操控指令，包括：a)由一个使用者将一个基体配戴于头部，其中该基体上设置有对应该使用者眼睛位置的影像撷取装置、及对应该使用者眼睛位置的呈现装置；b)以该影像撷取装置撷取上述预定影像撷取范围内影像资料，并转为电讯号传输至一个处理装置；c)由该处理装置判断该使用者是否做出上述特定肢体动作；及d)当存在有上述特定肢体动作时，将执行上述对应该特定肢体动作的指令，改变该呈现装置的呈现。
藉由影像撷取装置撷取前方预定影像撷取范围的影像，一旦使用者在此范围中做出预定的肢体动作，则可由处理装置分析得知，并且关连至预先界定的指令，处理装置从而下达该对应指令，如此，不仅可以轻易取代实体的遥控器，简化既有头戴式显示系统结构，让头戴式显示系统更易于携带，系统成本也同步降低，尤其所撷取的影像甚至可进一步与影像画面中出现的虚拟指令调节按钮或拨杆等物件进行互动，如此设计也可更符合人因工程，藉此轻易调控例如原本在呈现装置中所播放影片的播放条件，达成所有上述目的。
【附图说明】
图1是公知头戴式摄影机的方块图；
图2是公知头戴式摄影机搭配有头戴式显示装置的示意图；
图3是本发明头戴式体感操控显示系统的第一较佳实施例的立体示意图；
图4是图3的头戴式体感操控显示系统的方块图；
图5是图3的头戴式体感操控显示系统的操作流程图；
图6是图3的头戴式体感操控显示系统目前播放的影像与配戴者的手被拍摄影像相互结合，且被拍摄的手的影像为暂停指令的示意图；
图7是图3的头戴式体感操控显示系统目前播放的影像与配戴者的手被拍摄影像相互结合，且被拍摄的手的影像为快转至指定时间指令的示意图；
图8是图3的头戴式体感操控显示系统目前播放的影像与配戴者的手被拍摄影像相互结合，且被拍摄的手的影像为调整声音大小指令的示意图；
图9是本发明头戴式体感操控显示系统的第二较佳实施例的方块图，说明影音资料储存于外部的主机，并由无线蓝芽将影音资料进行无线发送；
图10是图9播放的影像与配戴者的手指被拍摄的影像相互结合，且配戴者的手指能与画面产生互动的示意图；
图11是图9播放的影像受电子陀螺仪侦测到配戴者头转动方向而同步改变影像的示意图；
图12是本发明头戴式体感操控显示系统的第三较佳实施例的立体示意图；
图13是图12头戴式体感操控显示系统显示配戴者双手及虚拟键盘的示意图；
图14是图12头戴式体感操控显示系统的上视图，是说明被投射的影像资料，以虚像聚焦在较远的位置；及
图15是本发明头戴式体感操控显示系统的第四较佳实施例的立体示意图。
【主要元件符号说明】
12、2 头戴式摄影机 10 监测器
16 处理器 18 影像储存
14、24 头戴式显示装置 22 摄影机
25 控制器 30 镜框
32、32’、42” 微型摄影机 33 耳机
34 液晶显示模组 34’ 穿透式显示器
36、36’ 处理装置 361’ 电子陀螺仪
37 影音播放装置 38 储存装置
382、383 操控界面 4 光碟片
41” 传输线 43” 微型投影机
44” 微结构镜片 45” 主机
46” 无线传输器 40” 基座
5 握拳手势 5’ 主机
59’、39’ 无线蓝芽 52” 双手
50” 虚拟键盘
【具体实施方式】
有关本发明的前述及其他技术内容、特点与功效，将配合以下的参考图式与较佳实施例的详细说明而清楚地呈现。
如图3及图4所示，为本发明头戴式体感操控显示系统的第一较佳实施例，本例中，是以机舱使用的头戴式个人电影院为例，主要包括例释为镜框30的基体、例释为微型摄影机32的影像撷取装置、例释为液晶显示模组34的呈现装置、处理装置36、储存装置38、影音播放装置37、及例释为耳机33的声音播放装置。
其中液晶显示模组34是设置在镜框30上对应位于可供使用者眼睛观看的位置，一并参考图5所示，使用者要使用本例的头戴式体感操控显示系统时，首先于步骤501，由使用者将镜框30配戴于头部，并将储存有影音资料的光碟片4插入影音播放装置37中；步骤502影音播放装置37随即将光碟片4中资料藉由液晶显示模组34与耳机33播出。由于微型摄影机32是设置在镜框30上，并对应使用者双眼之间，因此在步骤503，微型摄影机32不断撷取预定影像撷取范围内的影像资料，并且转换为电讯号传输至处理装置36。
当使用者观看影片至例如内急，需将影片暂停，则可在自己面前做出例如图6所示握拳手势5，当使用者的肢体动作出现在微型摄影机32前方的预定影像撷取范围内时，处理装置36将在步骤504时，分析微型摄影机32所拍摄的真实影像，是否存在有预定的特定肢体动作在内，当确认该动作与内建的特定肢体动作吻合时，就在步骤505由储存装置38中提取预定的对应指令，例如本例中的「握拳」表示「暂停」指令，则指令影音播放装置37暂停播放。相反地，当步骤504判断并无前述特定肢体动作，则持续上述播放与影像撷取动作，直到影片被播放完毕。
另如图7所示，例如当使用者直立伸出左手食指，此时，依照本例的界定，此肢体动作是对应影片播放速度调整，因此处理装置36指令影音播放装置37在液晶显示模组34约略对应该手指的位置，呈现出一个虚拟的播放速度操控界面382影像，而微型摄影机32持续撷取该食指影像，由处理装置36判断使用者手指向左或向右移动作为控制的依据，藉以指令影音播放装置37对应该肢体动作而回转或快速前进。此外，储存装置38在本例中储存有多组不同的虚拟操控界面影像资料，如图8所示，当使用者平伸出右手食指时，处理装置36判断使用者欲调整音量，因此指令影音播放装置37在液晶显示模组34约略对应该手指的位置，呈现出一个虚拟的音量操控界面383影像，随使用者右手食指上下而改变播放音量。
如熟悉本技术领域者所能轻易理解，本案的头戴式体感操控显示系统并非局限于机舱中，亦可取代部分家用显示器，例如目前常见的体感游戏机，藉由设置在电视上的摄影机拍摄游戏者肢体动作，可以让使用者与电视荧屏中的游戏画面互动，让使用者融入显示的影像画面当中。本案第二较佳实施例如图9所示，可将影音资料储存于外部的主机5’，并由主机5’的无线蓝牙59’将影音资料进行无线发送，由对应的无线蓝牙39’接收并传至随身携带的处理装置36’，并指令呈现装置显示如图10所示的对应画面。
而且在本例中，由于呈现装置包括一组穿透式显示器34’，因此使用者可以一方面看到显示的画面，另一方面透视穿透式显示器34’而观看真实世界，当配戴此头戴式体感操控显示系统的儿童看到萤幕上的牛而伸出单一指头触碰时，使用者的这种特定手势将被微型摄影机32’撷取到，并且传输电讯号至处理装置36’，由此，判定该儿童与画面所呈现的牛进行互动，从而让播放装置发出牛叫声，并且在随后影像画面中让牛缓步前行。
当如图11所示，画面中所呈现的牛离开画面范围，使用的儿童可能开始旋转头颈，想找寻牛的踪迹，此时，藉由本例中的电子陀螺仪361’，可估计使用者头部方位，亦即穿透式显示器34’与微型摄影机32’目前面对方向，故当使用者转动头部时，呈现于穿透式显示器34’的画面将会对应旋转，例如当使用者目前所看到的景像是如图10所示，接着当使用将头部转向左边，其电子陀螺仪361’便会将侦测到的转动方向传至处理装置36’，并透过无线蓝芽39’传至主机5’，由主机5’将对应的如图11的场景回传至处理单元36’，再由穿透式显示器34’显示，例如本例中穿透式显示器34’所显示的城堡及树的影像物件均随着使用者的头部转动而同步位移，可令使用者能够达到身历其境的感受。当然，若所进行的是枪战游戏，亦可藉由微型摄影机32’撷取游戏者食指与大拇指所摆出的手枪形状，直接作为游戏画面中的枪枝影像，让头戴式的显示装置不需其他周边配备，更易于携带与操作。
此外，虽然上述实施例中的呈现装置均是以穿透式显示器为例，但本案的实施并不局限于此，尤其目前可携式电子装置趋向轻薄短小，故本案的第三较佳实施例如图12及图14所示本例中的呈现装置包括一组微型投影机43”及微结构镜片44”，而影像撷取装置则是例释为两个微型摄影机42”，并分别装设在基座40”上的双眼上方位置，以获得跟使用者双眼最接近的立体视角。
由于本例中的基座40”是以一般眼镜形式为例，与使用者眼睛距离较近，若在此距离建立实像，使用者眼睛将不易聚焦观看；因此，本例中的显示装置主要由两具分别设置在左右镜框处的微型投影机43”，由传输线41”连接至一个可供携带的无线传输器46”，并由无线传输器46”与主机45”间相互以无线讯号连结，并由主机45”提供影像资料，供本例的微型投影机43”分别将左右两眼的影像资料投射在两眼前方微结构镜片44”位置处，藉由微结构镜片44”的反射与偏折，让被投射的影像资料，以虚像聚焦在较远的位置，便于使用者观看；并且藉由左右两眼的影像差异，在使用者前方架构呈现出如图13所示，具有三维空间深度的虚拟键盘50”。
当微型摄影机42”拍摄到使用者伸出的双手52”，则呈现出对应的虚拟键盘50”，并藉由镜片可透光的功效，让虚拟键盘50”画面与真实世界的双手52”位置叠合，且可进一步撷取使用者双手动作，由处理装置解析该影像资料加以判断，并作为在虚拟键盘50”上键入字母的指令，从而得知按键动作，完成输入。
此外，亦可如图15所示本案第四较佳实施例，呈现装置亦可采用彼此偏极化方向垂直而正交的两片偏极化镜片作为呈现影像的用途，藉此，两侧的光纤投影机(图未示)可以将双眼的影像资料同步投射，且藉由偏极化镜片的正交关系，将垂直偏极化的影像资料成分呈现于图式左眼，水平偏极化的影像资料成分呈现于图式右眼，让使用者可以获得三维影像。
本发明的头戴式体感操控显示系统及其方法，可以将使用者视野范围内的自身肢体动作辨识出来，并由处理装置将撷取的肢体动作分析，使得使用者的肢体动作不仅可以结合于影像画面中，更可与影像画面中出现的物件进行互动，甚至是将特定的肢体动作经由处理装置进行分析及比对，令符合预设的特定的肢体动作行为产生各种对应的指令，而且更可以将预定的对应影像物件资料呈现在显示装置上的对应位置，例如显示出虚拟的操作界面或是目前状态的影像资料，使得本案的头戴式体感操控显示系统及其方法在进行操作时有别于公知的技术，不仅操作简便，使用界面友善，且操作上极具有趣味性，尤其一举达成本发明的所有目的。
以上所述仅为本发明的较佳实施例而已，不能以此限定本发明实施的范围，即凡依本发明申请权利要求书范围及说明书内容所作的简单的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。
Claims (10)
1.一种头戴式体感操控显示系统，供依照一个使用者在一个预定影像撷取范围内的特定肢体动作控制显示影像，其中，前述特定肢体动作分别对应特定指令，该操控显示系统包括：
一个供使用者配戴于头部的基体；
一组设置于该基体、供撷取该使用者肢体在一个预定影像撷取范围内的动作影像的影像撷取装置；
一组设置于该基体的呈现装置；及
一个接收该影像撷取装置传来的影像讯号，分析并当获得该影像讯号中、存在有上述特定肢体动作时，下达对应上述特定肢体动作的上述特定指令，藉以改变该播放装置呈现内容的处理装置。
2.如权利要求1所述的头戴式体感操控显示系统，其中上述特定肢体动作包括复数种手势，且该操控显示系统更包括一组储存有分别对应所有上述手势的虚拟操控界面影像资料、供该处理装置提取并由该呈现装置呈现的储存装置。
3.如权利要求1所述的头戴式体感操控显示系统，其中该呈现装置包括一组穿透式显示器。
4.如权利要求3所述的头戴式体感操控显示系统，其中该呈现装置更包括一组声音播放器。
5.如权利要求1、2、3或4所述的头戴式体感操控显示系统，其中该呈现装置包括一组液晶显示模组。
6.如权利要求1、2、3或4所述的头戴式体感操控显示系统，其中该呈现装置包括至少一组微型投影机及至少一组供该至少一组微型投影机投射影像的微结构镜片。
7.如权利要求1、2、3或4所述的头戴式体感操控显示系统，其中该呈现装置包括一组彼此正交配置的偏极化镜片。
8.如权利要求1、2、3或4所述的头戴式体感操控显示系统，其中该影像撷取装置是一具设置于对应该使用者双眼之间的微型摄影机。
9.如权利要求1、2、3或4所述的头戴式体感操控显示系统，其中该影像撷取装置是两具分别对应该使用者左、右眼设置且彼此分隔的微型摄影机。
10.一种头戴式体感操控显示方法，供分析及比对一个使用者在一个预定影像撷取范围内，是否进行复数特定肢体动作之一，且上述特定肢体动作分别被定义为特定操控指令，包括：
a)由一个使用者将一个基体配戴于头部，其中该基体上设置有对应该使用者眼睛位置的影像撷取装置、及对应该使用者眼睛位置的显示装置；
b)以该影像撷取装置撷取上述预定影像撷取范围内影像资料，并转为电讯号传输至一个处理装置；
c)由该处理装置判断该使用者是否做出上述特定肢体动作；及
d)当存在有上述特定肢体动作时，将执行上述对应该特定肢体动作的指令，改变该显示装置的呈现。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102866452A CN103018905A (zh) | 2011-09-23 | 2011-09-23 | 头戴式体感操控显示系统及其方法 |
| GB1200910.6A GB2495159A (en) | 2011-09-23 | 2012-01-19 | A head-mounted somatosensory control and display system based on a user's body action |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102866452A CN103018905A (zh) | 2011-09-23 | 2011-09-23 | 头戴式体感操控显示系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103018905A true CN103018905A (zh) | 2013-04-03 |
Family
ID=45814245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102866452A Pending CN103018905A (zh) | 2011-09-23 | 2011-09-23 | 头戴式体感操控显示系统及其方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103018905A (zh) |
| GB (1) | GB2495159A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324309A (zh) * | 2013-06-18 | 2013-09-25 | 杭鑫鑫 | 可穿戴计算机 |
| CN103530061A (zh) * | 2013-10-31 | 2014-01-22 | 京东方科技集团股份有限公司 | 显示装置及控制方法、手势识别方法、头戴显示装置 |
| CN105184268A (zh) * | 2015-09-15 | 2015-12-23 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
| CN105518575A (zh) * | 2013-08-05 | 2016-04-20 | 微软技术许可有限责任公司 | 与自然用户界面的双手交互 |
| CN105719517A (zh) * | 2016-04-07 | 2016-06-29 | 贾怀昌 | 一种应用头戴式显示器的培训系统 |
| TWI552565B (zh) * | 2013-05-24 | 2016-10-01 | 中臺科技大學 | 具三度空間控制功能之眼鏡型行動電話 |
| TWI563818B (en) * | 2013-05-24 | 2016-12-21 | Univ Central Taiwan Sci & Tech | Three dimension contactless controllable glasses-like cell phone |
| CN106415510A (zh) * | 2014-05-30 | 2017-02-15 | 三星电子株式会社 | 数据处理方法及其电子设备 |
| CN107367839A (zh) * | 2016-05-11 | 2017-11-21 | 宏达国际电子股份有限公司 | 穿戴式电子装置、虚拟实境系统以及控制方法 |
| US10007331B2 (en) | 2013-12-27 | 2018-06-26 | Semiconductor Manufacturing International (Beijing) Corporation | Wearable intelligent systems and interaction methods thereof |
| WO2018153081A1 (zh) * | 2017-02-21 | 2018-08-30 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
| CN109343715A (zh) * | 2018-11-16 | 2019-02-15 | 深圳时空数字科技有限公司 | 一种智能体感互动方法、设备、系统及存储设备 |
| CN109690447A (zh) * | 2016-08-09 | 2019-04-26 | 克罗普股份有限公司 | 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机 |
| CN111045209A (zh) * | 2018-10-11 | 2020-04-21 | 光宝电子(广州)有限公司 | 使用无人机的旅游系统与方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013019574A1 (de) | 2013-11-22 | 2015-05-28 | Audi Ag | Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille |
| CN104144335B (zh) * | 2014-07-09 | 2017-02-01 | 歌尔科技有限公司 | 一种头戴式可视设备和视频系统 |
| WO2016013692A1 (ko) | 2014-07-22 | 2016-01-28 | 엘지전자(주) | 헤드 마운티드 디스플레이 및 그 제어방법 |
| CN110275619A (zh) * | 2015-08-31 | 2019-09-24 | 北京三星通信技术研究有限公司 | 在头戴式显示器中显示真实物体的方法及其头戴式显示器 |
| US10887647B2 (en) | 2019-04-24 | 2021-01-05 | Charter Communications Operating, Llc | Apparatus and methods for personalized content synchronization and delivery in a content distribution network |
| US11812116B2 (en) * | 2019-10-16 | 2023-11-07 | Charter Communications Operating, Llc | Apparatus and methods for enhanced content control, consumption and delivery in a content distribution network |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6346929B1 (en) * | 1994-04-22 | 2002-02-12 | Canon Kabushiki Kaisha | Display apparatus which detects an observer body part motion in correspondence to a displayed element used to input operation instructions to start a process |
| JP2008185609A (ja) * | 2007-01-26 | 2008-08-14 | Sony Corp | 表示装置、表示方法 |
| US20090243968A1 (en) * | 2008-03-31 | 2009-10-01 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
| WO2010082270A1 (ja) * | 2009-01-15 | 2010-07-22 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10054242A1 (de) * | 2000-11-02 | 2002-05-16 | Visys Ag | Verfahren zum Eingeben von Daten in ein System und Eingabeeinrichtung |
| KR100800859B1 (ko) * | 2004-08-27 | 2008-02-04 | 삼성전자주식회사 | Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법 |
| JP5293154B2 (ja) * | 2008-12-19 | 2013-09-18 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5262681B2 (ja) * | 2008-12-22 | 2013-08-14 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びそのプログラム |
| WO2011097226A1 (en) * | 2010-02-02 | 2011-08-11 | Kopin Corporation | Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands |
-
2011
- 2011-09-23 CN CN2011102866452A patent/CN103018905A/zh active Pending
-
2012
- 2012-01-19 GB GB1200910.6A patent/GB2495159A/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6346929B1 (en) * | 1994-04-22 | 2002-02-12 | Canon Kabushiki Kaisha | Display apparatus which detects an observer body part motion in correspondence to a displayed element used to input operation instructions to start a process |
| JP2008185609A (ja) * | 2007-01-26 | 2008-08-14 | Sony Corp | 表示装置、表示方法 |
| US20090243968A1 (en) * | 2008-03-31 | 2009-10-01 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
| WO2010082270A1 (ja) * | 2009-01-15 | 2010-07-22 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI552565B (zh) * | 2013-05-24 | 2016-10-01 | 中臺科技大學 | 具三度空間控制功能之眼鏡型行動電話 |
| TWI563818B (en) * | 2013-05-24 | 2016-12-21 | Univ Central Taiwan Sci & Tech | Three dimension contactless controllable glasses-like cell phone |
| CN103324309A (zh) * | 2013-06-18 | 2013-09-25 | 杭鑫鑫 | 可穿戴计算机 |
| CN105518575A (zh) * | 2013-08-05 | 2016-04-20 | 微软技术许可有限责任公司 | 与自然用户界面的双手交互 |
| US10203760B2 (en) | 2013-10-31 | 2019-02-12 | Boe Technology Group Co., Ltd. | Display device and control method thereof, gesture recognition method, and head-mounted display device |
| CN103530061A (zh) * | 2013-10-31 | 2014-01-22 | 京东方科技集团股份有限公司 | 显示装置及控制方法、手势识别方法、头戴显示装置 |
| WO2015062247A1 (zh) * | 2013-10-31 | 2015-05-07 | 京东方科技集团股份有限公司 | 显示装置及其控制方法、手势识别方法、和头戴显示装置 |
| CN104750234B (zh) * | 2013-12-27 | 2018-12-21 | 中芯国际集成电路制造(北京)有限公司 | 可穿戴智能设备及可穿戴智能设备的互动方法 |
| US10007331B2 (en) | 2013-12-27 | 2018-06-26 | Semiconductor Manufacturing International (Beijing) Corporation | Wearable intelligent systems and interaction methods thereof |
| CN106415510B (zh) * | 2014-05-30 | 2020-03-13 | 三星电子株式会社 | 数据处理方法及其电子设备 |
| CN106415510A (zh) * | 2014-05-30 | 2017-02-15 | 三星电子株式会社 | 数据处理方法及其电子设备 |
| US10365882B2 (en) | 2014-05-30 | 2019-07-30 | Samsung Electronics Co., Ltd. | Data processing method and electronic device thereof |
| CN105184268A (zh) * | 2015-09-15 | 2015-12-23 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
| CN105184268B (zh) * | 2015-09-15 | 2019-01-25 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
| CN105719517A (zh) * | 2016-04-07 | 2016-06-29 | 贾怀昌 | 一种应用头戴式显示器的培训系统 |
| CN107367839A (zh) * | 2016-05-11 | 2017-11-21 | 宏达国际电子股份有限公司 | 穿戴式电子装置、虚拟实境系统以及控制方法 |
| CN109690447A (zh) * | 2016-08-09 | 2019-04-26 | 克罗普股份有限公司 | 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机 |
| WO2018153081A1 (zh) * | 2017-02-21 | 2018-08-30 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
| US10936162B2 (en) | 2017-02-21 | 2021-03-02 | Lenovo (Beijing) Limited | Method and device for augmented reality and virtual reality display |
| CN111045209A (zh) * | 2018-10-11 | 2020-04-21 | 光宝电子(广州)有限公司 | 使用无人机的旅游系统与方法 |
| CN109343715A (zh) * | 2018-11-16 | 2019-02-15 | 深圳时空数字科技有限公司 | 一种智能体感互动方法、设备、系统及存储设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB201200910D0 (en) | 2012-02-29 |
| GB2495159A (en) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103018905A (zh) | 头戴式体感操控显示系统及其方法 | |
| US9842433B2 (en) | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality | |
| US10303244B2 (en) | Information processing apparatus, information processing method, and computer program | |
| WO2017043398A1 (ja) | 情報処理装置および画像生成方法 | |
| EP3003122A2 (en) | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user | |
| CN103018903A (zh) | 具有显示方位锁定装置的头戴式显示器及其显示方法 | |
| US11270116B2 (en) | Method, device, and system for generating affordances linked to a representation of an item | |
| US20180374275A1 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
| CN105068248A (zh) | 头戴式全息智能眼镜 | |
| WO2024064828A1 (en) | Gestures for selection refinement in a three-dimensional environment | |
| CN204945491U (zh) | 头戴式全息智能眼镜 | |
| WO2024059755A1 (en) | Methods for depth conflict mitigation in a three-dimensional environment | |
| CN201707801U (zh) | 一种带有嵌入式微型投影机的手持式学习设备 | |
| JP2023116432A (ja) | アニメーション制作システム | |
| JP7115695B2 (ja) | アニメーション制作システム | |
| JP6964302B2 (ja) | アニメーション制作方法 | |
| JP7199204B2 (ja) | 表示制御プログラム、表示制御装置、及び表示制御方法 | |
| TW201816545A (zh) | 虛擬實境頭戴式裝置 | |
| TWI746463B (zh) | 虛擬實境頭戴式裝置 | |
| CN103376554B (zh) | 手持电子设备和显示方法 | |
| JP7218872B2 (ja) | アニメーション制作システム | |
| JP7390542B2 (ja) | アニメーション制作システム | |
| JP6955725B2 (ja) | アニメーション制作システム | |
| JP2022025473A (ja) | 動画配信方法 | |
| WO2024064230A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130403 |