CN113282163A - 具可调整影像感测模块的头戴式装置及其系统 - Google Patents
具可调整影像感测模块的头戴式装置及其系统 Download PDFInfo
- Publication number
- CN113282163A CN113282163A CN202110189576.7A CN202110189576A CN113282163A CN 113282163 A CN113282163 A CN 113282163A CN 202110189576 A CN202110189576 A CN 202110189576A CN 113282163 A CN113282163 A CN 113282163A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- sensing module
- image sensing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims 1
- 230000036651 mood Effects 0.000 claims 1
- 230000008921 facial expression Effects 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 210000000214 mouth Anatomy 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101150049278 US20 gene Proteins 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种头戴式显示系统,包括一头戴式装置与一影像影像处理模块,用于处理所述第一影像感测模块或所述第二影像感测模块捕获的影像,其中所述头戴式装置更进一步包含一框架,将装置连接到使用者头部;一显示模块,设置在所述框架上;一第一影像感测模块,用以在朝向一使用者脸部的第一方向捕获影像;以及一第二影像感测模块,用以在朝向远离使用者脸部的第二方向捕获影像;其中,所述第一影像感测模块和所述第二影像感测模块可调节地安装在所述框架上。
Description
技术领域
本发明涉及头戴式装置领域,特别是涉及一种具有可调整影像感测模块的头戴式装置及其系统。
背景技术
虚拟现实或虚拟现实(VR)(有时也可互换地称为沈浸式多媒体或计算器仿真的现实)描述了一种模拟环境,旨在为使用者提供一种交互式的感官体验,以试图复制使用者的感官体验。人工环境中的物理存在,例如基于现实的环境或基于非现实的环境,例如视频游戏。除了视觉组件之外,虚拟现实还可以包括音频和触觉组件。
虚拟现实的视觉组件可以显示在计算器屏幕上,也可以显示在立体声头戴式显示器(HMD)上,例如Rift,这是由华盛顿州西雅图市的Oculus VR开发的虚拟现实头戴式显示耳机。传统的HMD仅将影像或符号系统投射在佩戴者的护目镜或标线板上。投影的影像不属于现实世界(即,影像不会根据佩戴者的头部位置而改变)。其他HMD集成了一个定位系统,该系统跟踪佩戴者的头部位置和角度,从而使显示器投射的图片或符号与使用透视影像的外界环境保持一致。头戴式显示器还可与跟踪传感器一起使用,该跟踪传感器允许记录佩戴者角度和方向的变化。当此类数据可用于提供虚拟现实环境的系统时,它可用于生成与特定时间佩戴者的视角相对应的显示。这使佩戴者只需移动头部即可“环顾四周”虚拟现实环境,而无需单独的控制器来更改影像的角度。基于无线的系统允许佩戴者在系统的跟踪限制内移动。适当放置的传感器还可以允许虚拟现实系统跟踪HMD佩戴者的手部运动,以允许与内容进行自然交互以及便利的游戏机制。
发明内容
本发明揭露一种头戴式显示系统,包括一头戴式装置与一影像影像处理模块,用于处理所述第一影像感测模块或所述第二影像感测模块捕获的影像,其中所述头戴式装置更进一步包含一框架,将装置连接到使用者头部;一显示模块,设置在所述框架上;一第一影像感测模块,用以在朝向一使用者脸部的第一方向捕获影像;以及一第二影像感测模块,用以在朝向远离使用者脸部的第二方向捕获影像;其中,所述第一影像感测模块和所述第二影像感测模块可调节地安装在所述框架上。
在一实施例中,所述第一影像感测模块能够捕获所述使用者的整个脸部影像,部分脸部影像或部分姿势影像,并且所述影像处理模块能够根据所述影像识别一使用者情绪信息。
在另一实施例中,所述系统还包括一存储模块,用于存储所述预存储影像的。
在另一实施例中,所述的系统,可以根据所述使用者情绪信息来发送或显示所述预存储影像。
在另一实施例中,所述系统还包括所述预存储的影像是指使用者的真实脸部影像或动画。
在另一实施例中,其中所述影像处理模块依照使用者情绪信息,使用所述预存储影像与部份与所述第一影像感测模块所捕获的影像以重建使用者影像。
在另一实施例中,所述的系统包含一通讯模块,用以传输信息或接收网际网路上的信息。
在另一实施例中,所述的系统更包含一定位模块,用以决定系统的位置信息。
在另一实施例中,其中所述的显示模块用以显示近端影像与远端影像。
本发明更揭露一供使用者佩戴的头戴式装置,包括一框架,用以配戴于使用者头部;一显示模块,设置在框架上;以及复数个影像感测模块可调节地安装在所述框架上,其中每一个影像感测模块透过依附接结构附接于一框架上接收位置,并且所述的接收位置是可以调整的。
在一实施例中,,其中所述的影像感测模块能够透过附接结构移动以调整所述接收位置或其视角。
在另一实施例中,所述附接结构还包括枢纽关节,以调节所述影像感测模块的视角。
在另一实施例中,所述的影像感测模块与所述框架藉由所述附接结构电连接以供电或传输数据。
在另一实施例中,所述附接结构是凹形结构或凸形结构
在另一实施例中,所述接收位置是轨道结构或球形结构。
在另一实施例中,所述显示模块可以投影具有多个深度的三维影像。
在另一实施例中,所述影像感测模块朝外或朝内拍摄影像。
通过结合附图以示例方式示出本公开原理的以下详细描述。
附图说明
图1a是本发明一实施例的侧视图;
图1b是本发明一实施例的俯视图;
图2是本发明一实施例的细部结构示意图;
图3是本发明一实施例系统示意图;
图4a为本发明另一具有多个摄影装置的实施例;
图4b为本发明另一具有多个摄影装置的实施例;
图5为本发明应用于远程会议应用情境的示意图;
图6为处理模块的流程示意图;
图7为本发明实施例的应用情境示意图。
具体实施方式
以下将描述具有可调节影像感测模块的头戴式装置及其系统。在下面的示例性描述中,阐述了许多具体细节,以便提供对本发明的实施例的更透彻的理解。然而,对于本领域普通技术人员而言显而易见的是,可以在不结合本文描述的具体细节的所有方面的情况下实践本发明。在其他情况下,没有详细描述本领域普通技术人员众所周知的特定特征,数量或测量,以免模糊本发明。读者应注意,尽管在此阐述了本发明的示例,但是权利要求和任何等同形式的全部范围是限定本发明的范围和边界的内容。
图1a和图1b为本发明的第一实施例。图1a是本实施例的头戴式装置的侧视图,图1b是本实施例的头戴式装置的俯视图。参照图1a和1b,诸如头盔,头戴式装置,可穿戴式增强现实(AR),虚拟现实(VR)或混合现实(MR)装置之类的头戴式装置100或一副智能眼镜包括:框架101,至少一个影像感测模块102和近眼显示模块103(透镜/光学组合器部份)。
在本实施例中,影像感测模块102指向头戴式装置100的使用者的脸部。图1a和图1b中三角形的区域是影像感测模块102的拍摄区域,可以理解为影像感测模块102的视野范围(Field of View,FOV)。在另一实施例中,影像感测模块102可以是结合有用于各种应用的广角镜头,变焦镜头,鱼眼镜头或多功能镜头的照相机。一般而言,为了获得更宽的视角以捕获尽可能多的脸部影像信息,可以将广角镜安装在内置相机中。另外,照相机不限于光学照相机,还包括用于测量深度,温度或其他物理参数测量感测模块的红外照相机,距离成像传感器等。
在一实施例中,影像感测模块102是可旋转的。它可以是朝外以捕获周围环境的影像,或者向内以记录脸部表情的影像以及头戴式装置100的使用者的眼球运动。捕获使用者的脸部和/或上身影像的影像感测模块102被称为「内向相机」。捕获外部环境的影像的影像感测模块102称为「外向相机」。一个可旋转的影像感测模块可以同时作为「内向相机」与「外向相机」。
在本发明实施例中,对于一些特定应用,向内照相机仅捕获使用者脸部的重要局部影像;例如,向内相机捕获完整或包含脸部重要特征的影像以进行脸部影像重建和识别。其中重要的脸部特征,如眼睛,鼻子,嘴和嘴唇都应被捕获。另一个应用是脸部表情,除脸部特征点外,还应捕捉包括眼眶,鼻腔和口腔在内的脸部肌肉。另一个应用程序是眼球跟踪,瞳孔在每只眼睛上的相对位置应通过向内相机捕获。
外向相机可用于许多应用,例如导航,室内或室外徒步旅行(例如在博物馆和观光场所),社交共享,AR游戏,制作/操作指南等。外向相机可用于通过使用放大或缩小镜头,可以用作望远镜或显微镜。例如,当将高分辨率(例如20-50百万甚至120百万像素)的外向型数码相机放大到很小的区域时,它可以充当显微镜来帮助进行人脑手术。这种头戴式装置可用于许多应用中,例如医疗操作或工厂的精确生产。
图2是本发明的另一个实施例。在本实施例中,头戴式装置100可以在影像感测模块102中包括内向相机和外向相机。为了获得更好的拍摄角度,影像感测模块102可调节地安装在框架101上。如图2所示,影像感测模块102具有滑动结构1022,该滑动结构1022插入框架101内,从而影像感测模块102可沿轨道1012滑动。影像感测模块102由轨道1012中的电源线供电,并且影像感测模块102捕获的影像数据与数据线一起在轨道1012中传输。
在另一实施例中,影像感测模块102通过枢纽关节1014附接到框架101上。在图1a和1b中,框架101通过枢纽关节1014与影像感测模块102物理连接。枢纽关节1014允许影像感测模块102旋转,使得影像感测模块102的面对方向可根据应用场景调整。在当前实施例中,使用者可以调整影像感测模块102以对准整个脸部以捕获脸部表情或向外对准以捕获环境影像。可调设计允许影像感测模块102以更好的方式根据脸部形状和/或大小的各个变化来捕获使用者脸部的特征。
图3是头戴式装置100的系统图。头戴式装置100包括用于向内和向外捕获影像的多个影像感测模块102,用于处理影像并识别影像信息的影像处理模块110,以及存储模块120,用于存储影像和影像信息,其中所述的多个影像感测模块102包含一第一影像感测模块与第二影像感测模块。在该实施例中,影像感测模块捕获使用者或环境影像。这些影像由影像处理模块110进行辨识,包含决定影像中使用者脸部表征信息以及姿态表征信息。在一些实施例中,影像感测模块102仅以特定的特定视角捕获影像,并且影像处理模块110可以针对由不同的影像感测模块102所捕获特定视角的影像来重建获得较完整的使用者脸部和姿势影像(例如使用者的完整脸部或姿态)。此外,一些影像可以被预先存储在存储模块120中。在一些情况下,头戴式装置100的使用者仅需要打开针对使用者的嘴,唇,眉毛和眼球等关键脸部表情特征的一些特定影像感测模块,即可获得部分实时影像或图片。影像影像处理模块110将预先提取存储在存储模块120中的历史影像数据和使用者信息,以与实时影像融合以形成动画。如此一来,使用者即使在没有拍摄完整脸部表情的情况下,仍可以应用融合局部脸部表情以及历史影像数据以形成近似于实时的影像动画。
头戴式装置100还包括近眼显示模块103。在优选实施例中,近眼显示模块103是视网膜投影显示器。视网膜投影显示系统旨在直接通过使用者的瞳孔将信息、光源信号或影像投影到使用者的视网膜上。此外,视网膜投影显示器可以显示不同影像景深的物件。换言之影像中多个物件具有不同的景深。在其他实施例中,近眼显示模块103可以是AR眼镜、智能眼镜或VR显示器。申请人于2020年11月6日提交的名称为「用于显示具有深度的物体的系统和方法」的国际申请号为PCT/US20/59317的PCT专利申请通过引用整体并入本文,作為参考。
此外,可穿戴式头部装置100还包括通信模块130,例如Wi-Fi,蓝牙,4G或5G通信模块,以将影像或使用者信息(包含脸部表征信息)接收或发送到远程服务器150。头部可穿戴装置还具有定位模块140,如GPS或陀螺仪用以确定头戴式装置100的位置或方向信息,并将该信息传输到影像处理模块110,以进一步应用或显示在显示模块103上。
图4a和图4b示出了本发明的另一个实施例。图4a和4b示出了将影像感测模块102附接到框架101上的位置。在图4a和4b中,框架101上的圆圈30指示用以对应付接影像感测模块的接收位置。
实线箭头A表示由由圆圈30所指出的接收位置中的影像传感模块所拍摄的环境影像信息的视角,而虚线箭头B表示由圆圈30所指出的接收位置中的影像传感模块所拍摄脸部,手势或姿势影像信息的视角。
在本实施例中,一些影像感测模块设置在由圆圈30所指出的接收位置仅能够分别捕获环境影像信息或使用者的脸部,手势或姿势信息:但有一些影像感测模块设置在由特定圆圈30所指出的接收位置,若采用广角镜头时,能够以便同时捕获环境影像信息和内部影像信息,例如同使捕获使用者的脸部影像以及较远的手势和姿势信息。
影像信息将由头戴式装置100内建的影像影像处理模块(未示出)或往寄望路上的远程服务器(未示出)的影像影像处理模块(未示出)进行处理和分析,以用于进一步的应用。
在本实施例中,由于使用者的脸部或身体与头戴式装置100上的影像感测模块102之间的距离太短,所以每个影像感测模块102仅捕获部分使用者的脸部影像或部分姿势影像。捕捉整个脸部或身体影像。由影像感测模块102捕获的部分脸部或姿势影像将被发送到影像处理模块。影像处理模块将融合部分影像,以形成用于识别使用者的脸部和姿势信息的完整影像。
局部影像和整个影像可以存储在头戴式装置100的存储模块(未示出)中。所存储的局部影像和整个影像可以用作使用者的影像数据库。在某些情况下,使用者仅需要打开一些针对脸部表情的重要特征(例如嘴和眉毛)的影像感测模块即可。头戴式装置的影像处理模块将融合实时的嘴/嘴唇/眼球/眉毛影像与存储的影像,以形成新的完整影像。
图5示出了本发明的另一个实施例,头戴式装置200包括在头戴式装置的框架201上的多个枢轴照相机202/202’。枢轴照相机202/202’可以被附接到框架201的不同位置上。由头戴式装置200的照相机202/202’拍摄的包括照片和视频的影像可以被进一步处理并且经由一个头传送到头戴式装置的其他使用者或更多服务器。在本实施例中,一个枢轴照相机202’设置在使用者的后头上,以捕获使用者后面的实时背景图像。背景图像可以与由其他枢轴相机202捕获的图像(例如使用者的面部图像和姿势图像)集成在一起,以提供全方位图像信息。
具有AR/VR/MR功能的头戴式装置200可能能够显示具有多个深度的3D影像。除了影像之外,头戴式装置200可以结合有用于记录和播放声音的麦克风和扬声器。此外,头部可穿戴装置可以与全球定位系统(GPS)和/或陀螺仪合并在一起,以确定装置的位置和方向。
具有AR/VR/MR(统称为“扩展现实”)功能的头戴式装置200可以在执行大部分(如果不是全部)智能手机的功能时解放双手去做一些其他事情当前可以提供诸如拍摄照片和视频,浏览网页,下载/查看/编辑/共享文档,玩游戏,通过文本,语音和影像与他人通信等功能。
影像包括照片和视频。一个或多个摄像机的操作可以通过触摸,语音,手势或眼球移动来预先编程或控制。在这种情况下,头戴式装置可以具有触摸面板,语音识别组件,手势识别组件和/或眼球跟踪组件。触摸面板可以是在空间中显示多个深度的3D虚拟影像,以便头戴装置可以确定是否发生了触摸,例如通过使用使用者指尖深度的深度感应相机。或者,该头戴式装置可以具有遥控器或连接到智能手机,以控制相机操作的触摸,语音或手势。在另一实施例中,一个或多个摄像机可以由佩戴者以外的其他人远程控制。这样的人(可能是第二个佩戴者)可以查看来自使用者相机的影像,并控制该相机(无论是否经过佩戴者的认可)。例如,头部可穿戴装置的佩戴者正在检查损坏的机器,以决定如何修理它,但无法找出问题所在。此时,主管可以远程控制摄像机以检查机器的特定部位/组件以解决问题。另一个例子是,监督医生可以远程控制使用者装置在患者面前的相机,以检查身体的特定部位以进行诊断。
图6是一个实施例中的影像处理模块的工作流程图。影像影像处理模块拍摄到的使用者脸部和身体的影像可以进行处理,以获取有关使用者的更多信息,以供在AR/VR/MR应用中进一步使用。例如,如果由于用于捕获影像或与预先存储的脸部影像融合的角度或镜头(例如广角镜)而使相机拍摄的原始脸部影像失真,则可以恢复脸部影像。以下步骤说明了处理影像的方法。
在步骤S1中,确定原始脸部影像是否由于视角或镜头的特性而失真或部分变形。
在步骤S2中,可以通过提取畸变的脸部影像的特征来分析该脸部影像,以得出使用者的脸部表情,例如幸福,悲伤,愤怒,惊奇,厌恶,恐惧,困惑,兴奋,欲望和鄙视,从而分析畸变的脸部影像,并获取表情ID。
在步骤S3中,根据脸部表情ID选择存储在数据库中的一个或多个影像。
在步骤S4中,依照表情ID将原始影像与数据库中存储的影像重建一较完整或全面的脸部表情影像以进行发送或显示。
结果,与脸部表情相对应的预存储的脸部影像之一可以用于传输和/或显示
在另一个实施例中,使用者可以为他/她自己选择与该脸部表情相对应的预先存储的化身(例如卡通或电影角色),而不显示他/她自己的真实脸部影像。另外,内向摄像机可以跟踪眼球的运动以得出凝视的方向。眼动追踪的结果可用于AR/VR/MR应用程序的设计。在另一个实施例中,眼睛跟踪的结果可以指示另一个相机(例如外向相机)捕捉装置佩戴者注视的影像。
类似地,可以处理由照相机(外部照相机)拍摄的外部周围环境和使用者身体的一部分的影像(例如手指/手的位置,手势的类型和身体姿势),以得出有关以下内容的更多信息:佩戴者和环境,以便在AR/VR/MR应用中进一步使用。例如,影像可以由对象识别组件处理,该对象识别组件可以是头戴式装置的一部分或位于单独的服务器中。可以将标签添加到识别的对像以提供其名称和描述。在一种情况下,佩戴者参加会议并看到其他几位参与者的脸部影像被拍摄和处理。如果识别出这些参与者中的任何一个,则其名字和描述将通过AR眼镜显示在该参与者影像旁边显示的卷标中。除卷标外,还可以为AR/VR/MR应用程序创建和显示其他虚拟对象。在一种情况下,可以在AR/MR导航系统中显示诸如箭头的虚拟对象。另一个示例是,使用者的手指/手的位置,手势类型和身体姿势也可以进行分析和识别,以获取有关佩戴者的更多信息。在一种情况下,特定手势可以是对头戴式装置的指令或命令。头戴式装置上的深度感测相机可以感测佩戴者的手势,以与显示具有多个深度的3D影像的AR/VR/MR应用程序进行交互,以命令和控制头戴式装置上可用的各种功能。在一种情况下,相机可以感应手势的深度,例如指尖的深度和手的移动,因此具有AR/VR/MR应用程序的头戴式装置可以显示多个深度的3D影像,指尖实际上触摸了空间中的特定影像/对象,或者手指手势是否满足预定义的放大/缩小以启动指令。对于周围的影像,带有变焦镜头的向外相机可以像望远镜一样放大以捕获并显示特定点的近距离影像。
除了照相机之外,麦克风,扬声器,GPS和陀螺仪可以与头戴式装置一体地结合,或者例如通过插入连接器而附接到头戴式装置(但是如果需要可移除)。或内置在头戴式装置上的插座。
可以通过诸如电信,Wi-Fi和蓝牙之类的布线或无线通信将诸如照相机,麦克风,GPS和陀螺仪所获取的诸如影像和声音之类的数据/信息/信号传输至通信装置的另一组件。头戴式装置或单独的服务器,以便在头戴式装置或单独的服务器或两者上进行进一步处理。
在被处理之后,影像和/或声音被发送给观众。在一种情况下,记者或记者(例如自媒体(we-media))可能会佩戴带有至少一个相机的头戴式装置。记者或自媒体首先可以将摄像机向内旋转,然后与网络上的观众交谈,以便他/她的观众可以看到谁在报导。在下一刻,摄像机将镜头转向周围环境,因此观众可以看到他/她正在报告的影像。另一种情况是,头部可穿戴装置与用于向记者或自媒体的脸部和上半身的影像的至少一个向内照相机以及用于周围环境的影像的至少一个向内照相机结合。因此,观众可以同时观看新闻记者或自媒体和周围环境的影像。有了这种头戴式装置,记者或自媒体就可以单独制作实时调查报告或现场采访,而无需另外的摄影师。
另外,如图7所示,头戴式装置的多个使用者可以彼此交互。如果头戴式装置具有AR/VR/MR功能,则佩戴者可以参加虚拟视频会议。多个穿着者可以位于单独的空间(例如,每个穿着者都从他/她自己的家或办公室加入)或相同的空间(包括全部位于同一空间或某些位于同一空间)。来自发送佩戴者的所有数据/信息,包括相机和麦克风拍摄的影像和声音,可以在传输到接收佩戴者之前,在头戴式装置和/或单独的服务器(例如云服务器)中进行全部或部分处理。来自GPS和陀螺仪的数据/信息可用于安排佩戴者与头部可穿戴装置的AR/VR/MR组件显示的影像之间的空间关系。有了这样的头戴式可穿戴装置,佩戴者可以随时随地参加虚拟视频会议,例如躺在家里,坐在汽车或办公室中,在大街上行走,调查生产线问题,而无需坐在360度的房间里视频和音频系统。如之前所讨论的,每个佩戴者可以选择向其他佩戴者显示他/她的真实脸部影像或其替代物,例如化身(例如,电影明星或卡通对象)。在虚拟视频会议中,每个佩戴者都可以从特定角度观看相同的3D虚拟影像/对象。可以基于佩戴者的运动来调节该特定角度。另外,佩戴者可能能够从另一佩戴者观看影像/对象的相同角度观看3D虚拟影像/对象。例如,三个戴着头戴式可穿戴装置的外科医生站在躺在手术台上进行手术周围,另一个远程佩戴者可能能够看到三个头戴式可穿戴装置中的每一个可以从不同角度看到的影像。
头戴式装置的AR/VR/MR(功能可以将3D虚拟影像投影到物理对象的顶部,以使3D虚拟影像和物理对象的相应部分重迭。例如,可以在手术期间将患者心脏的计算器断层扫描(“CT”)扫描影像处理并叠合显示为患者心脏的3D虚拟影像,作为操作指南。
在上述实施例中,仅对本发明进行了示范性描述,但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。
Claims (17)
1.一种头戴式显示系统,包括:
一头戴式装置,包括:
一框架,将装置连接到使用者头部;
一显示模块,设置在所述框架上;
一第一影像感测模块,用以在朝向一使用者脸部的第一方向捕获影像;以及
一第二影像感测模块,用以在朝向远离使用者脸部的第二方向捕获影像;其中,所述第一影像感测模块和所述第二影像感测模块可调节地安装在所述框架上,以及
一影像影像处理模块,用于处理所述第一影像感测模块或所述第二影像感测模块捕获的影像。
2.根据权利要求1所述的系统,其中所述第一影像感测模块能够捕获所述使用者的整个脸部影像,部分脸部影像或部分姿势影像,并且所述影像处理模块能够根据所述影像识别一使用者情绪信息。
3.根据权利要求2所述的系统,其中所述系统还包括一存储模块,用于存储所述预存储影像的。
4.根据权利要求3所述的系统,可以根据所述使用者情绪信息来发送或显示所述预存储影像。
5.根据权利要求3所述的系统,其中所述系统还包括:所述预存储的影像是指使用者的真实脸部影像或动画。
6.根据权利要求5所述的系统,其中所述影像处理模块依照使用者情绪信息,使用所述预存储影像与部份与所述第一影像感测模块所捕获的影像以重建使用者影像。
7.根据权利要求1所述的系统,其中更包含一通讯模块,用以传输信息或接收网际网路上的信息。
8.根据权利要求1所述的系统,其中更包含一定位模块,用以决定系统的位置信息。
9.根据权利要求1所述的系统,其中所述的显示模块用以显示近端影像与远端影像。
10.一供使用者佩戴的头戴式装置,包括:
一框架,用以配戴于使用者头部;
一显示模块,设置在框架上;
复数个影像感测模块可调节地安装在所述框架上,其中每一个影像感测模块透过依附接结构附接于一框架上接收位置,并且所述的接收位置是可以调整的。
11.根据权利要求10所述的装置,其中所述的影像感测模块能够透过附接结构移动以调整所述接收位置或其视角。
12.根据权利要求10所述的装置,其中所述附接结构还包括枢纽关节,以调节所述影像感测模块的视角。
13.根据权利要求10所述的装置,其中所述的影像感测模块与所述框架藉由所述附接结构电连接以供电或传输数据。
14.根据权利要求10所述的装置,其中所述附接结构是凹形结构或凸形结构。
15.根据权利要求10所述的装置,所述接收位置是轨道结构或球形结构。
16.根据权利要求10所述的装置,所述显示模块可以投影具有多个深度的三维影像。
17.根据权利要求10所述的装置,所述影像感测模块朝外或朝内拍摄影像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062978322P | 2020-02-19 | 2020-02-19 | |
US62/978,322 | 2020-02-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113282163A true CN113282163A (zh) | 2021-08-20 |
Family
ID=77275795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110189576.7A Pending CN113282163A (zh) | 2020-02-19 | 2021-02-19 | 具可调整影像感测模块的头戴式装置及其系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210278671A1 (zh) |
CN (1) | CN113282163A (zh) |
TW (1) | TW202141120A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023539962A (ja) | 2020-08-14 | 2023-09-21 | ヒーズ アイピー ホールディングス エルエルシー | リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法 |
TWI838640B (zh) | 2020-09-03 | 2024-04-11 | 美商海思智財控股有限公司 | 改善雙眼視覺的系統與方法 |
TWI838651B (zh) | 2020-09-30 | 2024-04-11 | 美商海思智財控股有限公司 | 用於虛擬實境及擴增實境裝置的虛擬影像顯示系統 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103647955A (zh) * | 2013-12-31 | 2014-03-19 | 英华达(上海)科技有限公司 | 头戴式影像摄录像装置及其系统 |
CN104280884A (zh) * | 2013-07-11 | 2015-01-14 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN204480228U (zh) * | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
CN105259654A (zh) * | 2014-07-08 | 2016-01-20 | Lg电子株式会社 | 眼镜式终端及其控制方法 |
US20170367651A1 (en) * | 2016-06-27 | 2017-12-28 | Facense Ltd. | Wearable respiration measurements system |
CN107533230A (zh) * | 2015-03-06 | 2018-01-02 | 索尼互动娱乐股份有限公司 | 头戴式显示器用追踪系统 |
CN107850778A (zh) * | 2015-06-05 | 2018-03-27 | 马克·莱姆陈 | 使用头戴式摄像机和计算机系统对医疗图像或牙科图像进行图像捕获的设备和方法 |
CN108140105A (zh) * | 2015-09-29 | 2018-06-08 | 比纳里虚拟现实技术有限公司 | 具有脸部表情检测能力的头戴式显示器 |
US20180185665A1 (en) * | 2016-12-30 | 2018-07-05 | Osterhout Group, Inc. | Head-worn therapy device |
CN108604291A (zh) * | 2016-01-13 | 2018-09-28 | Fove股份有限公司 | 表情辨识系统、表情辨识方法及表情辨识程序 |
CN208569223U (zh) * | 2015-04-30 | 2019-03-01 | 奥克利有限公司 | 三维取向的校正眼镜 |
-
2021
- 2021-02-19 US US17/179,423 patent/US20210278671A1/en not_active Abandoned
- 2021-02-19 TW TW110105723A patent/TW202141120A/zh unknown
- 2021-02-19 CN CN202110189576.7A patent/CN113282163A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104280884A (zh) * | 2013-07-11 | 2015-01-14 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN103647955A (zh) * | 2013-12-31 | 2014-03-19 | 英华达(上海)科技有限公司 | 头戴式影像摄录像装置及其系统 |
CN105259654A (zh) * | 2014-07-08 | 2016-01-20 | Lg电子株式会社 | 眼镜式终端及其控制方法 |
CN204480228U (zh) * | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
US20160044298A1 (en) * | 2014-08-08 | 2016-02-11 | Leap Motion, Inc. | Augmented reality with motion sensing |
CN107533230A (zh) * | 2015-03-06 | 2018-01-02 | 索尼互动娱乐股份有限公司 | 头戴式显示器用追踪系统 |
CN208569223U (zh) * | 2015-04-30 | 2019-03-01 | 奥克利有限公司 | 三维取向的校正眼镜 |
CN107850778A (zh) * | 2015-06-05 | 2018-03-27 | 马克·莱姆陈 | 使用头戴式摄像机和计算机系统对医疗图像或牙科图像进行图像捕获的设备和方法 |
CN108140105A (zh) * | 2015-09-29 | 2018-06-08 | 比纳里虚拟现实技术有限公司 | 具有脸部表情检测能力的头戴式显示器 |
CN108604291A (zh) * | 2016-01-13 | 2018-09-28 | Fove股份有限公司 | 表情辨识系统、表情辨识方法及表情辨识程序 |
US20170367651A1 (en) * | 2016-06-27 | 2017-12-28 | Facense Ltd. | Wearable respiration measurements system |
US20180185665A1 (en) * | 2016-12-30 | 2018-07-05 | Osterhout Group, Inc. | Head-worn therapy device |
Also Published As
Publication number | Publication date |
---|---|
TW202141120A (zh) | 2021-11-01 |
US20210278671A1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102574874B1 (ko) | 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템 | |
US10527846B2 (en) | Image processing for head mounted display devices | |
US11455032B2 (en) | Immersive displays | |
CN113282163A (zh) | 具可调整影像感测模块的头戴式装置及其系统 | |
AU2021290132B2 (en) | Presenting avatars in three-dimensional environments | |
US9030486B2 (en) | System and method for low bandwidth image transmission | |
CN107209851A (zh) | 相对于摄像机和显示器的用户定位的实时视觉反馈 | |
WO2002052330A2 (en) | Teleconferencing system and head mounted display involved in the same | |
WO2019124111A1 (ja) | 制御装置および制御方法 | |
JP2021512402A (ja) | マルチビューイング仮想現実ユーザインターフェース | |
CN108108025A (zh) | 基于头戴设备的信息指引方法、装置、头戴设备和介质 | |
WO2016182504A1 (en) | A virtual reality headset | |
CN115079826B (zh) | 一种虚拟现实的实现方法、电子设备及存储介质 | |
US20230247180A1 (en) | Updating a model of a participant of a three dimensional video conference call | |
US20230123330A1 (en) | Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same | |
WO2024064015A1 (en) | Representations of participants in real-time communication sessions | |
CN115079826A (zh) | 一种虚拟现实的实现方法、电子设备及存储介质 | |
WO2024158843A1 (en) | Techniques for interacting with virtual avatars and/or user representations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |