CN111308703A - 头戴式显示系统及其图像产生方法 - Google Patents
头戴式显示系统及其图像产生方法 Download PDFInfo
- Publication number
- CN111308703A CN111308703A CN201911228764.5A CN201911228764A CN111308703A CN 111308703 A CN111308703 A CN 111308703A CN 201911228764 A CN201911228764 A CN 201911228764A CN 111308703 A CN111308703 A CN 111308703A
- Authority
- CN
- China
- Prior art keywords
- image
- physiological information
- display device
- user
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4866—Evaluating metabolism
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Obesity (AREA)
- Hospice & Palliative Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Dentistry (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
Abstract
本发明公开一种头戴式显示系统及其图像产生方法。头戴式显示系统包括一显示装置、一移动传感器、一框架、一图像产生系统以及一生理信息传感器。移动传感器感测物体移动或感测显示装置的移动。框架用以固定显示装置。图像产生系统耦接显示装置。图像产生系统经由显示装置显示一图像。图像中包括一第一部分。第一部分与移动传感器的感测结果无关。生理信息传感器配置在框架且耦接图像产生系统。图像产生系统根据生理信息传感器感测的生理信息调整显示装置显示的图像中的第一部分。
Description
技术领域
本发明涉及一种系统与方法,且特别涉及一种头戴式显示系统及其图像产生方法。
背景技术
近年来,头戴式显示装置(Head Mounted Display,HMD),例如增强现实(Augmented Reality,AR)、混合实境(Mixed Reality,MR)或虚拟现实(Virtual Reality,VR)显示器,逐渐成为市场上的热门产品。随着科技发展,虚拟现实技术在生活中得到了越来越多的应用。在现有技术中,当用户希望在虚拟环境中得到逼真的与真实物体的交互体验时,往往需要通过在特别设定的方法调整图像显示的方式或互动的模式。当使用者在虚拟现实环境中需要与真实物体互动,例如进行游戏时,现有技术无法提供方便的互动方法以在虚拟世界中进行游戏。因此,需要一种能准确模拟使用者与真实物体交互动作的方法。需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明提供一种头戴式显示系统及其图像产生方法,可改善图像与使用者的生理信息缺乏关联性的问题。
本发明的头戴式显示系统包括一显示装置、一移动传感器、一框架、一图像产生系统以及一生理信息传感器。移动传感器感测物体移动或感测显示装置的移动。框架用以固定显示装置。图像产生系统耦接显示装置。图像产生系统经由显示装置显示一图像。图像中包括一第一部分。第一部分与移动传感器的感测结果无关。生理信息传感器配置在框架且耦接图像产生系统。图像产生系统根据生理信息传感器感测的生理信息调整显示装置显示的图像中的第一部分。
本发明的头戴式显示系统的图像产生方法中,头戴式显示系统包括一显示装置与一移动传感器。移动传感器感测一物体移动或感测显示装置的移动。头戴式显示系统的图像产生方法包括:感测物体移动或感测显示装置的移动;感测生理信息;以及根据所感测的生理信息调整显示装置显示的一图像中的一第一部分,第一部分与移动传感器的感测结果无关。
基于上述,在本发明的头戴式显示系统及其图像产生方法中,会根据生理信息调整所产生的图像,能适时依据使用者的生理状况做出因应。
附图说明
图1是本发明一实施例的头戴式显示系统的示意图。
图2是图1中的框架的内面的示意图。
图3是使用于说明显示装置显示的图像与移动传感器的感测结果相关的部分的示意图。
图4是用于显示图1的生理信息传感器与使用者的额头的对应关系。
图5是本发明另一实施例的头戴式显示系统的示意图。
图6是本发明一实施例的图像产生方法流程图。
图7是本发明另一实施例的图像产生方法流程图。
【符号说明】
50:网球拍
100、200:头戴式显示系统
110:框架
120:显示装置
130、230:图像产生系统
132:处理单元
134:人工智能模块
134A:学习模块
140、240:移动传感器
150:生理信息传感器
160:控制器
172:扬声器
174:震动器
A10:区域
S110~S130、S210~S225、S230、S240、S250~S260、S270、S272、S280~S288:步骤
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组成、装置、步骤等。在其它情况下,不详细示出或描述已知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外,附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的符号表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
头戴式显示系统包括头戴式显示装置与一图像显示系统。头戴式显示装置包括框架,该框架可以包括显示装置及一对延伸部。延伸部一端可以连接显示装置,用于固定该显示装置在使用者的可视范围。显示装置可罩覆在使用者的眼部,且可包括一光学系统(未绘示)以及保护外壳等构件,显示装置可以是内建显示装置或外加的便携式显示装置(例如智能手机等)。该显示装置可以是密闭式的显示系统,或者是开放式眼镜。头戴式显示装置可以独立于图像显示系统或整合成一装置,例如智能手机整合图像显示系统和头戴式显示装置在头戴式显示装置内。图像显示系统可以是一计算机系统或云端装置或边缘计算装置,其与头戴式显示装置结构上分开,利用无线连接的方式存取数据。显示装置的种类可依据头戴式显示系统100应用在虚拟现实系统(virtual reality system)、增强现实系统(augmented reality system)或混合实境系统(mixed reality system)中而有所调整。而光学系统包括用于改变显示装置的光路的一光学元件,例如为透镜、导光件或棱镜等,本发明并不以此为限。
图1是本发明一实施例的头戴式显示系统的示意图。请参照图1,本实施例的头戴式显示系统100包括一显示装置120、一移动传感器140、一框架110、一图像产生系统130以及一生理信息传感器150。本实施例的移动传感器140感测物体移动,但在其他实施例中的移动传感器感测显示装置的移动。框架110用以显示装置120,并可在使用时固定在一使用者的头部。图像产生系统130耦连接显示装置120。图像产生系统130经由显示装置120显示一图像。图像中包括一第一部分。第一部分与移动传感器140的感测结果无关。这里说的图像可以应用在增强现实、混合实境、虚拟现实或其他形式的实境。
图2是图1中的框架的内面的示意图。请参照图1与图2,本实施例的生理信息传感器150配置在框架110且耦接图像产生系统130。图像产生系统130根据生理信息传感器150感测的生理信息调整显示装置120显示的图像中的第一部分。
显示装置120可以是银幕、投影装置、LCD、光场显示装置或其他显示装置。
本实施例的移动传感器140可以设置在框架110,而在其他实施例中的移动传感器也可以设置在控制器内,或者是设置在显示装置120内。本实施例的移动传感器140可用于检测使用者的手部、脚部或躯干的移动。在其他实施例中,移动传感器也可以独立在框架,利用摄像机捕捉使用者的移动,并且可以设置有无线装置传递数据。移动传感器140可以是摄像机,也可以是光、电、磁、重力、加速度或超声波传感器。
生理信息传感器150也可是一独立配件,可通过电性连接端口(如TYPE C连接端口或USB连接端口)连接框架110。
因为生理信息传感器150能够提供使用者的生理信息给图像产生系统130,所以图像产生系统130可以根据生理信息的状态及变化而调整显示装置120所显示的图像,能够提供使用者更为沈浸式的体验,也能主动式地调整图像来帮助使用者达到更佳的运动效果、观影体验及其他目的,还可降低图像造成使用者不适的可能性。
图像产生系统130可包括一处理单元132。处理单元处理并输出一显示数据。显示数据经由显示装置120显示成图像。显示数据包括第一数据与第二数据。第一数据经由显示装置120显示成图像的前述的第一部分。第二数据经由显示装置120显示成图像的一第二部分。
图3是使用于说明显示装置显示的图像与移动传感器的感测结果相关的部分的示意图。请参照图1与图3,前面叙述图像产生系统130根据生理信息传感器150感测的生理信息调整显示装置120显示的图像中的第一部分,且第一部分与移动传感器140的感测结果无关。这里所说的无关是指,不会受到移动传感器的感测结果影响的图像或影音特征。并且,显示装置120显示的图像还包括第二部分,第二部分对应到移动传感器140的移动而改变。具体来说,当使用者挥动手上的控制器160时,若使用者是在玩网球游戏,从图3中右侧所显示的使用者从显示装置120观看到的图像可知,网球拍50会随着控制器160的挥动而挥动,而控制器160的挥动是由移动传感器140感测获得的。因此,显示装置120显示的图像中的网球拍50的挥动或移动就属于与移动传感器140的感测结果相关的第二部分,而不属于前述的图像中的第一部分。但是,图像中的游戏对手回击的球的速度与轨迹(或者整体图像的解析度或显示频率)并不会因为移动传感器140感测获得的控制器160的移动而不同,这些就是前述的图像中的第一部分。统整地说,图像产生系统130可产生多个事件并且依据这些事件产生经由显示装置120显示的图像,这些事件例如是射击游戏中目标物的出现,图像产生系统130根据生理信息传感器150感测的生理信息调整这些事件产生的频率。因此,当从生理信息判断使用者的心率过高时,可以减少射击游戏中目标物的出现频率,反之则增加射击游戏中目标物的出现频率,以帮助使用者的心率维持在适当的区间内。
相似地,图像或影音中的更新频率、对比、亮度、色差、白平衡、色调曲线、色彩平衡、色彩饱和度、色温、色差补正、图像尺寸、解析度、音量大小、声音频率范围、响度、音调、音品、频率、振幅、谐波等图像或影音的特征也不会因为移动传感器140的感测结果而不同,这些特征属于前述的图像中的第一部分。图像产生系统130可根据生理信息传感器150感测的生理信息调整图像中的第一部分的前述特征。此外,图像产生系统130也可调整内容为互动式电影的图像中的剧情发展路线。
本实施例的头戴式显示系统100还可包括一扬声器172与一震动器174至少其中之一。如此一来,图像产生系统130可根据生理信息传感器150提供的使用者的生理信息来调整图像产生系统130产生的声音与震动至少其中之一。例如,图像产生系统130除了调整图像外,还可改变与图像搭配的震动模式与强度或配乐来增加或降低使用者的紧张感。或者搭配扬声器调整图像的第一部分(该第一部分与该移动传感器的感测结果无关)的声音的音量大小、声音频率范围、响度、音调、音品、频率、振幅、谐波等。当然,也可单纯在图像中加入生理信息的数据显示,以便使用者即时了解自己的生理状况。后续,会举例说明更多细节。
在本实施例中,图像产生系统130是主动式地根据使用者的生理信息来调整图像产生系统130产生的图像,而非接受使用者的指令来调整图像。在本实施例中,图像产生系统130可包括一人工智能模块134,人工智能模块134根据生理信息传感器150感测的生理信息调整显示装置120显示的图像。人工智能模块134包括一学习模块134A,以便图像产生系统130通过自我学习来改善使用者体验。学习模块134A根据生理信息传感器150感测的生理信息以及显示装置120显示的图像产生一函数模块。人工智能模块134根据生理信息传感器150感测的生理信息以及此函数模块调整显示装置120显示的图像。学习模块134A也可根据生理信息传感器150感测的生理信息以及显示装置120显示的图像的特征产生一函数模块。
人工智能模块134接收到使用者的生理信息,例如心跳、心电图、体温、血液含氧量、眨眼频率,可根据来自预先产生的函数模块将显示刷新率从120Hz调整为60Hz或从60Hz调整为120Hz。此外,可以通过使用长短型记忆(Long Short-Term Memory,LSTM)、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(RNN)、深度神经网络(DNN)与胶囊网络的组合来训练人工智能模块134。人工智能模块134也可以通过有监督或无监督的方法进行训练。
在本实施例中,生理信息传感器150包括光电容积图(Photoplethysmography,PPG)传感器、心电图(Electrocardiography,ECG)传感器、摄像机与皮肤阻抗传感器至少其中之一。PPG传感器可测量使用者的心率,而图像产生系统130可根据心率判断使用者的运动激烈程度、情绪、卡路里消耗量等。ECG传感器可测量使用者的心电图,可更精确获得使用者的心率,甚至可判断使用者是否有心律不整等异常状况。摄像机例如可追踪使用者的眼球运动,进而对于使用者的目光集中处的图像进行调整。皮肤阻抗传感器例如可了解使用者的出汗量,以推估使用者的运动量或是使用者的情绪是否亢奋、紧张。以上的生理信息传感器150的种类仅是举例,本发明不局限于此。
图4是用于显示图1的生理信息传感器与使用者的额头的对应关系。请参照图2与图4,本实施例的生理信息传感器150可安装在如图2的位置,而使用者配戴头戴式显示系统100后,生理信息传感器150将可接触使用者的额头,例如图4中的区域A10。人在额头的位置分布有许多血管,而一般使用者在使用头戴式显示系统100时都会将其稳固在头部,因此生理信息传感器150可稳定感测使用者的额头的血管所提供的生理信息。相较于常见的腕戴式的生理信息传感器容易在使用者激烈运动时失去感测能力,本实施例的生理信息传感器150能提供更稳定的感测结果。当然,本发明不局限生理信息传感器150的安装位置,也可依据感测区域的不同而调整其安装位置。
图5是本发明另一实施例的头戴式显示系统的示意图。请参照图5,本实施例的头戴式显示系统200大致上与图1的头戴式显示系统100相似,差异处在于本实施例的图像产生系统230为可携带式的,例如可配戴在使用者的身上,并以有线或无线的方式耦接显示装置120。此外,本实施例的移动传感器240与框架110分离,并用于感测显示装置120的移动,还可感测控制器160的移动。本实施例的头戴式显示系统200的其他部分与图1的头戴式显示系统100相似,在此不再赘述。
图6是本发明一实施例的图像产生方法流程图。请参照图1与图4,本实施例的图像产生方法可应用于图1的头戴式显示系统100、图5的头戴式显示系统200或其他头戴式显示系统。本实施例的图像产生方法是先由移动传感器140感测物体移动或感测显示装置120的移动,步骤S110。之后,感测使用者的生理信息,步骤S120。接着,再根据所感测的生理信息调整显示装置120显示的图像中的第一部分,第一部分与移动传感器140的感测结果无关,步骤S130。举例来说,步骤S130中对于图像的调整可由图1中的图像产生系统130来执行。图像产生系统130例如是一台计算机,以有线或无线的方式耦接显示装置120。在另一实施例中,同样可使用如图1的头戴式显示系统100来执行图像产生方法,而图像产生系统130是外部的图像内容提供系统,例如是线上游戏或是串流影音的服务器,同样可以有线或无线的方式耦接显示装置120。然后,由外部的图像内容提供者根据所接收到的生理信息而调整图像内容,例如是线上游戏中的内容的紧凑度或是串流影音的剧情发展。在步骤S130中,除了调整图像,也可调整声音与震动至少其中之一。
据此,本实施例的图像产生方法能够提供使用者更为沈浸式的体验,也能主动式地调整图像来帮助使用者达到更佳的运动效果、观影体验及其他目的,还可降低图像造成使用者不适的可能性。
图7是本发明另一实施例的图像产生方法流程图。请参照图7,在此,主要以执行的事件为网球游戏为例,但本发明不局限于此。本实施例的图像产生方法同样可应用于图1的头戴式显示系统100、图5的头戴式显示系统200或其他头戴式显示系统。在本实施例的图像产生方法中,首先进行步骤S210,由移动传感器140感测物体移动或感测显示装置120的移动。接着进行步骤S220,询问使用者是否开始感测生理信息。当使用者选择不要感测生理信息,进入步骤S230,开始事件,例如是开启网球游戏。需说明的是,当使用者选择不要感测生理信息,在步骤S230后会进入步骤S240而执行事件,但不会再继续感测与判断生理信息。
当使用者选择要感测生理信息,则进入步骤S221,要求使用者输入基本数据。在本实施例中,基本数据例如包括年龄、身高、体重与性别至少其中之一。接着进入步骤S222,根据使用者输入的基本数据计算得到最大心率(Maximum Heart Rate,MHR)。最大心率例如是以220减去使用者的年龄而得。
接着进入步骤S223,启动生理信息传感器。然后进入步骤S224,确认能否顺利感测使用者的生理信息,例如是感测使用者的PPG。当确认无法顺利感测使用者的生理信息时,进入步骤S225,提醒使用者调整生理信息传感器以顺利感测使用者的生理信息。举例来说,可以提醒使用者确认头戴式显示系统是否已经稳固地配戴,以使生理信息传感器能顺利感测生理信息。当确认可以顺利感测使用者的生理信息时,进入步骤S230,开始事件,例如是开启网球游戏。
接着进入步骤S240,执行事件,例如是玩网球游戏。在事件进行中,进入步骤S250,判断生理信息中的心率是否适中。当心率不适中,可进入步骤S254,调整所产生的图像以提醒使用者其心率状况,例如在图像中显示使用者的心率。心率的显示方式可以是直接显示心率的数值,也可以是以图像化的方式显示心率偏离适中值的程度,或者是以文字、声音、震动、图像或其他形式提醒使用者如何调整心率,本发明不对此加以限制。当然,不论心率是否适中,都可以在图像中实时显示当前卡路里累计消耗量、当前心率、最低心率、最高心率、平均心率或其他生理信息。当心率不适中,也可进入步骤S252,进一步判断心率是否高于一上限值。若是,则进入步骤S258,调整所产生的图像而减弱事件强度以使使用者的心率减少,例如降低网球游戏的强度。若否,表示心率低于一下限值,则进入步骤S256,调整所产生的图像而增强事件强度以使使用者的心率增加,例如增加网球游戏的强度。例如,增加游戏对手回击的球的速度,或是增加游戏对手回击球的频率。在此所述的上限值例如是使用者的最大心率的80%,而下限值例如为使用者的最大心率的60%。当心率在此上限值与下限值之间,通常表示使用者的心率介于最佳的运动燃脂心率区间内,最能有效帮助使用者在游戏中达到健身以及瘦身的效果。关于图像的调整方式,以游戏为例,可调整游戏的复杂度或是游戏的节奏。当然,使用者可以自由选择是否要开启该功能。如不启动此功能,则依照既有的游戏节奏进行。反之,如开启此功能,则系统会动态的调整游戏相关的各项参数,来增加或是减少使用者的运动量,进而控制使用者的心率能够落在最佳运动燃脂心率间。以网球游戏为例,可以调整网球的球速,让使用者可以增加或减慢回击的速度。或者,可以根据头戴式显示系统所提供的位置信息,得知目前使用者的位置,进而控制网球的方向,增加或减少使用者真实移动的脚步。或者,可以根据头戴式显示系统搭配的手握控制器所提供的信息,让使用者必须提升或减低挥拍的强度,才能让网球可以被打得更远或更近。在其他的游戏中,除了像是加快或减慢游戏的步调之外,也可增加或减少在同一时间出现的敌人等。抑或是,在拳击游戏中,可增加闪躲的动作,或者调整参数让使用者需要更快的出拳才能提高命中的机会以及命中时的拳击强度,这些都是可以让使用者提高或降低心率的方法。
另外,假设是进行射击游戏,当生理信息中显示使用者的头部温度到达到一设定的最高温,则图像产生系统根据这样的温度变化而降低目标物出现的频率或是目标物对于使用者攻击的速度。这样可以有效的降低使用者的紧张感或脑袋的使用度,进而避免使用者产生不适的状况。每个目标物的出现可视为一个产生的事件,调整事件的方式就产生频率就可以影响使用者的生理状况。
此外,在步骤S250中若判断生理信息中的心率适中,可进入步骤S260,计算并记录使用者消耗的卡路里。接着,在步骤中S270,确认是否结束事件。若否,则回到步骤S240,继续执行事件,并持续监控使用者的生理信息。若事件结束,则进入步骤S272,在图像中显示使用者累计消耗的卡路里。
在结束事件后,可进入步骤S280,判断当时使用者的生理信息中的一第一心率是否高于下限值,并记录第一心率。在此所述的下限值是以与前述的下限值相同为例,但本发明不局限于此。当第一心率未高于下限值,则结束测量。当第一心率高于下限值,进入步骤S282,休息一预设时间,例如1到2分钟。然后在从记录第一心率之后经过预设时间后,进入步骤S284,记录当时使用者的生理信息中的一第二心率。然后进入步骤S286,使用第一心率与第二心率而计算得出使用者的一心率恢复率。之后进入步骤S288,在图像中显示使用者的心率恢复率。此外,当心率恢复率不理想时,也可由头戴式显示系统主动将相关信息传送给使用者预先设定的医疗或急救机构,以便在使用者有需要时能立刻得到适当的医疗或急救处置。
综上所述,在本发明的头戴式显示系统及其图像产生方法中,不仅测量使用者的生理信息,也根据测量到的生理信息而调整所产生的图像,能够提供使用者更为沉浸式的体验,也能帮助使用者达成更佳的运动效果、观影体验及其他目的。
Claims (23)
1.一种头戴式显示系统,包括:
显示装置;
移动传感器,感测物体移动或感测该显示装置的移动;
框架,固定该显示装置;
图像产生系统,耦接该显示装置,该图像产生系统经由该显示装置显示图像,该图像中包括第一部分,该第一部分与该移动传感器的感测结果无关;以及
生理信息传感器,配置在该框架,该生理信息传感器耦接该图像产生系统,该图像产生系统根据该生理信息传感器感测的生理信息调整该显示装置显示的该图像中的该第一部分。
2.如权利要求1所述的头戴式显示系统,其中该图像产生系统包括处理单元,该处理单元处理并输出显示数据,该显示数据经由该显示装置显示成该图像。
3.如权利要求2所述的头戴式显示系统,其中该显示数据包括第一数据与第二数据,该第一数据经由该显示装置显示成该图像的该第一部分,该第二数据经由该显示装置显示成该图像的第二部分,该图像的该第二部分对应到该移动传感器的移动而改变。
4.如权利要求1所述的头戴式显示系统,其中该图像产生系统根据该生理信息传感器感测的生理信息调整该图像中的该第一部分的特征。
5.如权利要求4所述的头戴式显示系统,其中该特征是更新频率、对比、亮度、色差、白平衡、色调曲线、色彩平衡、色彩饱和度、色温、色差补正、图像尺寸或解析度。
6.如权利要求1所述的头戴式显示系统,其中该图像产生系统产生多个事件并且依据这些事件产生经由该显示装置显示的该图像,该图像产生系统根据该生理信息传感器感测的生理信息调整这些事件产生的频率。
7.如权利要求1所述的头戴式显示系统,还包括震动器,该图像产生系统根据该生理信息传感器感测的生理信息调整该震动器产生的震动。
8.如权利要求1所述的头戴式显示系统,其中该图像产生系统包括人工智能模块,该人工智能模块根据该生理信息传感器感测的生理信息调整该显示装置显示的该图像。
9.如权利要求8所述的头戴式显示系统,其中该人工智能模块包括学习模块,该学习模块根据该生理信息传感器感测的生理信息以及该显示装置显示的该图像产生函数模块,该人工智能模块根据该生理信息传感器感测的生理信息以及该函数模块调整该显示装置显示的该图像。
10.如权利要求9所述的头戴式显示系统,其中该学习模块根据该生理信息传感器感测的生理信息以及该显示装置显示的该图像的特征产生函数模块。
11.一种头戴式显示系统的图像产生方法,该头戴式显示系统包括显示装置与移动传感器,该移动传感器感测物体移动或感测该显示装置的移动,该头戴式显示系统的图像产生方法包括:
感测该物体移动或感测该显示装置的移动;
感测生理信息;以及
根据所感测的生理信息调整该显示装置显示的图像中的第一部分,该第一部分与该移动传感器的感测结果无关。
12.如权利要求11所述的头戴式显示系统的图像产生方法,其中调整该图像中的该第一部分是调整该图像的该第一部分的特征。
13.如权利要求11所述的头戴式显示系统的图像产生方法,其中调整该图像中的该第一部分包括产生多个事件并且依据这些事件产生经由该显示装置显示的该图像,并且调整这些事件的产生频率。
14.如权利要求11所述的头戴式显示系统的图像产生方法,其中调整该图像中的该第一部分包括根据所感测的生理信息以及该显示装置显示的该图像产生函数模块,该人工智能模块根据所感测的生理信息以及该函数模块调整该显示装置显示的该图像。
15.如权利要求11所述的头戴式显示系统的图像产生方法,其调整该图像中的该第一部分包括根据所感测的生理信息以及该显示装置显示的该图像产生函数模块,并且根据所感测的生理信息以及该函数模块调整该显示装置显示的该图像。
16.如权利要求11所述的头戴式显示系统的图像产生方法,依序包括:
感测该物体移动或感测该显示装置的移动;
询问使用者是否开始感测生理信息;
要求该使用者输入基本数据;
根据该使用者输入的基本数据计算得到最大心率;
启动生理信息传感器并确认能否顺利感测该使用者的生理信息;
当确认无法顺利感测该使用者的生理信息时,提醒该使用者调整该生理信息传感器以顺利感测该使用者的生理信息;
当确认可以顺利感测该使用者的生理信息时,执行一事件而产生该显示装置显示的该图像;以及
根据所感测的生理信息调整该图像中的该第一部分。
17.如权利要求11所述的头戴式显示系统的图像产生方法,依序包括:
感测该物体移动或感测该显示装置的移动;
感测使用者的生理信息;
执行一事件而产生该显示装置显示的该图像;
在该事件进行中,判断所感测的生理信息中的心率是否适中;
当所感测的生理信息中的心率高于上限值或低于下限值,调整该图像中的该第一部分以提醒该使用者其心率状况;以及
结束该事件。
18.如权利要求11所述的头戴式显示系统的图像产生方法,依序包括:
感测该物体移动或感测该显示装置的移动;
感测使用者的该生理信息;
执行一事件而产生该显示装置显示的该图像;
在该事件进行中,判断所感测的生理信息中的心率是否适中;
当所感测的生理信息中的心率高于上限值,调整该图像中的该第一部分以使该使用者的心率减少;
当所感测的生理信息中的心率低于下限值,调整该图像中的该第一部分以使该使用者的心率增加;以及
结束该事件。
19.如权利要求18所述的头戴式显示系统的图像产生方法,其中该上限值为该使用者的最大心率的80%,且该下限值为该使用者的最大心率的60%。
20.如权利要求18所述的头戴式显示系统的图像产生方法,还包括:
当所感测的生理信息中的心率适中,计算并记录该使用者消耗的卡路里。
21.如权利要求20所述的头戴式显示系统的图像产生方法,其中在结束该事件后,还包括:
在该图像中显示该使用者消耗的卡路里。
22.如权利要求11所述的头戴式显示系统的图像产生方法,其中在根据所感测的生理信息调整该图像中的该第一部分后,还包括:
结束一事件并判断当时使用者的生理信息中的第一心率是否高于下限值;
当该第一心率高于该下限值,记录该第一心率;
在记录该第一心率预设时间后,记录当时该使用者的生理信息中的第二心率,并使用该第一心率与该第二心率而计算得出该使用者的心率恢复率;以及
在该图像中显示该使用者的该心率恢复率。
23.如权利要求11所述的头戴式显示系统的图像产生方法,其中在根据所感测的生理信息调整该图像中的该第一部分之外,还包括调整声音与调整震动至少其中之一。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862774880P | 2018-12-04 | 2018-12-04 | |
US62/774,880 | 2018-12-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111308703A true CN111308703A (zh) | 2020-06-19 |
Family
ID=71156263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911228764.5A Pending CN111308703A (zh) | 2018-12-04 | 2019-12-04 | 头戴式显示系统及其图像产生方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200219468A1 (zh) |
CN (1) | CN111308703A (zh) |
TW (1) | TWI729602B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020166641A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11475167B2 (en) | 2020-01-29 | 2022-10-18 | International Business Machines Corporation | Reserving one or more security modules for a secure guest |
WO2023111638A1 (en) * | 2021-12-14 | 2023-06-22 | Bayat Peyman | Tennis game simulation system equipped with a smart racket |
CN114504777B (zh) * | 2022-04-19 | 2022-07-15 | 西南石油大学 | 基于神经网络和模糊综合评价的锻炼强度计算系统和方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108290070A (zh) * | 2015-10-01 | 2018-07-17 | Mc10股份有限公司 | 用于与虚拟环境相互作用的方法和系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298722B (zh) * | 2014-09-24 | 2018-01-19 | 张鸿勋 | 多媒体交互系统及其方法 |
CN204360325U (zh) * | 2015-01-15 | 2015-05-27 | 深圳市掌网立体时代视讯技术有限公司 | 一种头戴式多通道交互系统 |
CN107347149B (zh) * | 2017-06-14 | 2019-07-09 | 深圳市酷开网络科技有限公司 | 一种悬浮展示方法、虚拟现实设备及存储介质 |
-
2019
- 2019-12-04 TW TW108144230A patent/TWI729602B/zh active
- 2019-12-04 CN CN201911228764.5A patent/CN111308703A/zh active Pending
- 2019-12-04 US US16/702,548 patent/US20200219468A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108290070A (zh) * | 2015-10-01 | 2018-07-17 | Mc10股份有限公司 | 用于与虚拟环境相互作用的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
TW202023274A (zh) | 2020-06-16 |
US20200219468A1 (en) | 2020-07-09 |
TWI729602B (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI729602B (zh) | 頭戴式顯示系統及其影像產生方法 | |
US11556811B2 (en) | Information processing apparatus and storage medium | |
TWI658377B (zh) | 機器人輔助互動系統及其方法 | |
US20200029889A1 (en) | Biofeedback system and method | |
US20150196805A1 (en) | Fuzzy logic-based evaluation and feedback of exercise performance | |
US20160328994A1 (en) | Biological information processing system, server system, biological information processing device, and biological information processing method | |
JP2018010310A (ja) | プログラム、情報処理装置及び情報処理方法 | |
KR102429630B1 (ko) | 헬스케어를 위한 커뮤니케이션 npc아바타를 생성하는 시스템 | |
US11490857B2 (en) | Virtual reality biofeedback systems and methods | |
US20190274630A1 (en) | Output control device, output control method, and program | |
US20200367789A1 (en) | Wearable computing apparatus with movement sensors and methods therefor | |
KR102429627B1 (ko) | 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템 | |
GB2620770A (en) | Eye monitoring system and method | |
WO2023003697A1 (en) | Augmented reality artificial intelligence enhance ways user perceive themselves | |
TW201729879A (zh) | 移動式互動跳舞健身系統 | |
Liu et al. | PhysioTreadmill: an auto-controlled treadmill featuring physiological-data-driven visual/audio feedback | |
JP7285808B2 (ja) | プログラム、ゲームサーバ、情報処理端末、方法およびゲームシステム | |
KR102445133B1 (ko) | 아바타를 생성하여 외부의 메타버스플랫폼에 제공하고 아바타를 업데이트하는 시스템 및 방법 | |
US20240139462A1 (en) | Methods for cybersickness mitigation in virtual reality experiences | |
Shaw | Development and evaluation of an exercycle game using immersive technologies | |
US20240139463A1 (en) | Methods for cybersickness mitigation in virtual reality experiences | |
WO2023016486A1 (zh) | 一种呼吸指导方法及相关装置 | |
KR20240036743A (ko) | 가상현실 기반 안구운동을 통한 사시 개선 시스템 및 방법 | |
JP2020013152A (ja) | プログラム、情報処理装置及び情報処理方法 | |
KR20230137139A (ko) | 사용자가 존재하는 공간의 습도를 생성한 아바타로 수행하는 콘텐츠 환경의 습도로 제어하는 실감 효과를 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |