CN108475495A - 图像显示装置及图像显示方法 - Google Patents
图像显示装置及图像显示方法 Download PDFInfo
- Publication number
- CN108475495A CN108475495A CN201780006905.1A CN201780006905A CN108475495A CN 108475495 A CN108475495 A CN 108475495A CN 201780006905 A CN201780006905 A CN 201780006905A CN 108475495 A CN108475495 A CN 108475495A
- Authority
- CN
- China
- Prior art keywords
- information
- state
- display device
- image display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000012360 testing method Methods 0.000 claims abstract description 44
- 230000001133 acceleration Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims description 88
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 62
- 210000003128 head Anatomy 0.000 description 28
- 238000012545 processing Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 239000000446 fuel Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 230000008595 infiltration Effects 0.000 description 5
- 238000001764 infiltration Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008092 positive effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1464—3D-gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/167—Vehicle dynamics information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/169—Remaining operating distance or charge
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Instrument Panels (AREA)
Abstract
图像显示装置具备:取得部,其取得两个以上的信息;检测部,其检测图像显示装置的加速度、方位及角速度中的至少一个;图像变更部,其基于所述检测部检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从所述取得部取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据;以及显示部,其显示所述显示数据。
Description
技术领域
本发明涉及图像显示装置及图像显示方法。
本申请基于在2016年2月12日申请的日本国特愿2016-025244号而主张优先权,并将其内容援引于此。
背景技术
近年来,佩戴于头部而使用的图像显示装置的开发不断进展。这样的图像显示装置具有覆盖眼睛的非透过型和不覆盖眼睛的透过型。在非透过型的情况下,仅将图像显示于显示部。因此,利用者仅能够视觉确认图像。在透过型的情况下,显示部例如为半透半反镜。因此,利用者能够视觉确认外界的像和图像。
这样的图像显示装置佩戴于利用者的头部,因此在利用者活动头部时,有时变得看不到外界或图像。与此相对,提出有即便在利用者活动头部的情况下也能够可靠地传递作为图像的文字信息的图像显示装置(例如,参照专利文献1)。
在先技术文献
专利文献
专利文献1:日本特开2007-134785号
发明要解决的课题
然而,在专利文献1所记载的技术中,即便通过根据头部的移动来变更图像数据而进行显示,从而在利用者活动头部的情况下也能够可靠地传递作为图像的文字信息,也无法基于利用者的意志来变更显示的信息。
发明内容
本发明的方案鉴于上述点而完成,其目的在于,提供一种能够根据图像显示装置的移动来变更显示的信息的图像显示装置及图像显示方法。
用于解决课题的方案
为了解决上述技术课题而达成上述的目的,本发明采用了以下的方案。
(1)本发明所涉及的一方案的图像显示装置具备:取得部,其取得两个以上的信息;检测部,其检测图像显示装置的加速度、方位及角速度中的至少一个;图像变更部,其基于所述检测部检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从所述取得部取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据;以及显示部,其显示所述显示数据。
(2)在上述(1)的方案的基础上,也可以是,所述图像变更部基于所述检测部检测到的结果,来判定与相对于所述图像显示装置的基准状态而言的上下、左右、倾斜方向中的至少一个相关的所述图像显示装置的状态。
(3)在上述(1)或(2)的方案的基础上,也可以是,当所述图像显示装置在规定时间内进行了基准姿态与基准姿态以外的姿态之间的往复动作的情况下,所述图像变更部生成附加信息。
(4)在上述(3)的方案的基础上,也可以是,所述附加信息是与所述图像显示装置被利用的状况对应的信息。
(5)在上述(3)或(4)的方案的基础上,也可以是,在所述图像显示装置的利用者乘坐于车辆的情况下,所述取得部从所述车辆取得与所述车辆相关的信息,所述附加信息是与所述车辆相关的信息。
(6)本发明所涉及的一方案的图像显示方法为图像显示装置的图像显示方法,其包括:取得两个以上的信息的取得步骤;检测所述图像显示装置的加速度、方位及角速度中的至少一个的检测步骤;基于由所述检测步骤检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从由所述取得步骤取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据的图像变更步骤;以及显示所述显示数据的显示步骤。
发明效果
根据上述(1)或(6)的方案,通过图像显示装置的简单的动作能够进行多个显示数据的变更。
在上述(2)的情况下,通过图像显示装置的简单的动作能够选择性地显示更多的显示数据。
在上述(3)的情况下,能够根据动作图案来进行不同的信息的显示。
在上述(4)的情况下,能够根据图像显示装置的动作来切换与图像显示装置被利用的状况对应的附加信息的显示。
在上述(5)的情况下,能够在图像显示装置上显示与车辆相关的信息,且能够根据图像显示装置的动作来切换显示的信息。
附图说明
图1是表示第一实施方式所涉及的HMD的简要结构的框图。
图2是表示第一实施方式所涉及的HMD的外观的一例的图。
图3是表示第一实施方式所涉及的存储部存储的与状态相关的检测值的一例的图。
图4是表示第一实施方式所涉及的存储部存储的与动作相关的检测值的一例的图。
图5是表示在第一实施方式所涉及的显示部上显示的信息的一例的图。
图6是第一实施方式所涉及的阈值的学习和显示图像的变更处理的流程图。
图7是表示第二实施方式所涉及的HMD的简要结构的框图。
图8是表示在第二实施方式所涉及的显示部上显示的信息的一例的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。另外,在以下的说明中,作为图像显示装置,以眼镜型的头戴式显示器(以下,称作HMD)为例来进行说明。
[第一实施方式]
图1是表示本实施方式所涉及的HMD1的简要结构的框图。
如图1所示,HMD1具备操作部10、取得部11、检测部12、信息变更部13及显示部14。另外,检测部12具备磁传感器121(检测部)、加速度传感器122(检测部)及角速度传感器123(检测部)。
另外,信息变更部13具备存储部131、控制部132及图像变更部133。
操作部10例如包括机械式开关、触摸面板式开关等。操作部10检测利用者操作后的结果,并将检测到的操作指示向控制部132输出。需要说明的是,HMD1也可以不具备操作部10。在该情况下,HMD1可以使取得部11从外部装置(未图示)取得操作指示,并将取得的操作指示向控制部132输出。需要说明的是,外部装置例如是智能手机等便携终端、遥控器等。另外,操作指示例如是使HMD1的电源成为接通状态或者断开状态的指示、进行学习模式的指示、是否在显示部14上显示信息的指示、HMD1在怎样的状态时显示哪一信息的指示等。需要说明的是,学习模式是指进行用于判别朝下状态、纵摆动作、横摆动作的阈值和规定时间的学习的模式。朝下状态是指利用者低头的状态。纵摆动作是指利用者像点头那样使头部在纵向上摆动多次的状态。横摆动作是指利用者使头部在左右方向上摆动多次的状态。
取得部11包括有线通信方式及无线通信方式中的至少一个。取得部11从外部装置取得信息,并将取得的信息向图像变更部133输出。需要说明的是,从外部装置取得的信息例如是直至目的地的导航信息、当前地点、目的地的天气预报的信息、今日的日程的信息等。另外,取得部11在从外部装置取得了操作指示的情况下,将取得的操作指示向控制部132输出。
检测部12检测HMD1的状态,并将检测到的状态信息向控制部132输出。需要说明的是,HMD1的状态是指HMD1的倾斜、HMD1的移动、HMD1的方位等。另外,状态信息中包括表示方位的信息、表示加速度方向的信息、表示角速度的信息中的至少一个。
磁传感器121例如是地磁传感器,检测HMD1的方位。磁传感器121将检测到的检测值向控制部132输出。
加速度传感器122例如是3轴传感器,检测HMD1的倾斜。加速度传感器122基于重力加速度来检测加速度方向,并将检测到的检测值向控制部132输出。
角速度传感器123例如是陀螺仪传感器,检测HMD1的旋转。角速度传感器123将检测到的检测值向控制部132输出。
信息变更部13基于检测部12检测到的结果来判定HMD1的状态(例如,HMD1的静止状态、动作状态等),根据判定出的HMD1的状态来切换从取得部11取得的两个以上的信息中选择的信息,并生成基于切换后的信息得到的显示数据。
存储部131在HMD1佩戴于利用者时,存储检测为是朝下状态的情况的阈值和规定时间、检测为是纵摆动作的情况的阈值和规定时间、及检测为是横摆动作的情况的阈值和规定时间。存储部131存储表示在通常状态时显示的图像的种类的信息、表示在朝下状态时显示的图像的种类的信息、表示在纵摆动作时显示的图像的种类的信息、以及表示在横摆动作时显示的图像的种类的信息。需要说明的是,通常状态是指利用者将HMD1佩戴于头部并例如朝向正面方向的状态。
控制部132取得操作部10或取得部11输出的操作指示。控制部132取得检测部12输出的检测值。控制部132根据取得的操作指示所包含的进行学习模式的指示而使用取得的检测值,并进行HMD1的各状态(包括的各动作)各自的阈值和规定时间的学习,且将学习到的阈值和规定时间存储于存储部131。需要说明的是,HMD1的状态是指利用者以在头部佩戴有HMD1的状态而朝向上方的状态(以下,称作朝上状态)、朝向正面的状态(以下,称作正面状态)、朝向左方的状态(以下,称作朝左状态)、朝向右方的状态(以下,称作朝右状态)、朝向左上方的状态(以下,称作朝左上状态)、朝向右上方的状态(以下,称作朝右上状态)、朝向左下方的状态(以下,称作朝左下状态)、朝向右下方的状态(以下,称作朝右下状态)。另外,HMD1的动作是指利用者以在头部佩戴有HMD1的状态而从正面朝向下方的运动、从朝上朝向正面的运动、从朝上朝向下方的运动、从正面朝向左方的运动。需要说明的是,关于学习模式时的处理后述。
另外,控制部132在取得了对进行图像显示的情况进行设定的指示时,生成在显示部14上显示基于从终端3取得的显示信息得到的图像的显示指示,并将生成的显示指示向图像变更部133输出。控制部132在取得了对不进行图像显示的情况进行设定的指示的情况下,生成在显示部14不显示基于从终端3取得的显示信息得到的图像的非显示指示,并将生成的非显示指示向图像变更部133输出。
此外,控制部132基于取得的检测值和存储部131存储的阈值及规定时间来判别HMD1的状态(包括的动作)。在此,控制部132使用磁传感器121的检测值和角速度传感器123的检测值来计算状态(方向)的变化。另外,控制部132基于使用磁传感器121的检测值和角速度传感器123的检测值而计算出的方位的时间变化来判别动作。需要说明的是,控制部132也可以使用角速度传感器123的检测值来判别动作。控制部132在朝下状态的期间持续了第一规定时间的情况下判别为是朝下状态,并将判别结果向图像变更部133输出。控制部132在第二规定时间内检测到第一规定次数的从正面朝向下方的动作、从朝上朝向正面的动作、及从朝上朝向下方的动作中的至少一个动作的情况下,判别为是纵摆动作,并将判别结果向图像变更部133输出。控制部132在第三规定时间内检测到第二规定次数的从正面朝向右方的动作及从正面朝向左方的动作的情况下,判别为是横摆动作,并将判别结果向图像变更部133输出。
图像变更部133取得取得部11输出的信息。另外,图像变更部133取得控制部132输出的判别结果。图像变更部133根据取得的判别结果来选择取得的信息中的至少一个,并使用选择的信息来生成在显示部14上显示的图像。图像变更部133在控制部132输出了显示指示的情况下,将生成的图像向显示部14输出。图像变更部133在控制部132输出了非显示指示的情况下,不将生成的图像向显示部14输出。
显示部14包括对图像进行投影的投影部和例如利用了全息图的透过型的显示器而构成。显示部14使外界光透过,并使用全息图来显示图像变更部133输出的图像。需要说明的是,显示部14在HMD1为眼镜型的情况下,也可以具备左右两方或者左右中的一方。
图2是表示本实施方式所涉及的HM1的外观的一例的图。
以下,在利用者相对于地表直立地将HMD1佩戴于头部的情况下,在加速度传感器122的坐标中,将从利用者观察时的上下方向作为z轴方向,将左右方向作为x轴方向,并将前后方向作为y轴方向。加速度传感器122如图2所示,例如以Z轴方向的检测值为负方向的方式安装。
如图2所示,本实施方式的HMD1为眼镜型。HMD1在左右具备显示部14R及14L、鼻托102R及102L、鼻梁103、镜腿101R及101L而构成。检测部12安装于左右的镜腿101R及101L内,操作部10、取得部11、存储部131、控制部132及图像变更部133安装于左侧的镜腿101L内。需要说明的是,图2所示的结构为一例,安装操作部10、取得部11、检测部12、存储部131、控制部132及图像变更部133的位置并不局限于此。
<学习模式时的处理>
接下来,对学习模式时的处理、HMD1的状态判别进行说明。
在取得了进行学习模式的指示时,控制部132首先催促利用者进行各状态,并取得朝上状态、正面状态、朝左状态、朝右状态、朝左上状态、朝右上状态、朝左下状态、朝右下状态各自的检测部12的检测值。控制部132通过学习各状态的检测值,由此决定各状态下的磁传感器121的检测值的阈值和规定时间、加速度传感器122的检测值的阈值和规定时间。需要说明的是,控制部132也可以决定各状态下的角速度传感器123的阈值和规定时间。
在此,对学习状态的学习模式时控制部132进行的处理的一例进行说明。
控制部132将催促进行与HMD1的状态相关的动作的指示、例如催促朝上状态的指示向图像变更部133输出。图像变更部133将基于催促朝上状态的指示得到的信息显示于显示部14。基于催促朝上状态的指示得到的信息例如是指“请将头部朝上”。利用者使与显示部14上显示的信息对应的姿态持续规定时间(例如2秒以上)。控制部132取得将指示显示于显示部14的期间的各传感器的检测值和各状态维持的时间。控制部132为了学习而针对各状态催促例如5次的动作,并使用在5次的动作时取得的检测值来学习各状态的检测值,由此决定各状态下的磁传感器121、加速度传感器122各自的检测值的阈值。另外,控制部132基于各状态维持的时间来决定用于判别各状态的规定时间。
需要说明的是,控制部132可以基于利用者在状态的学习开始时和结束时对操作部10进行了操作的结果来判别,也可以将各传感器的检测值维持的期间作为状态维持的期间。
在取得了进行学习模式的指示时,控制部132接着催促利用者进行各动作,并以利用者在头部佩戴有HMD1的状态来取得从正面朝向下方的运动、从朝上朝向正面的运动、从朝上朝向下方的运动、从正面朝向左方的运动各自的检测部12的检测值。控制部132通过学习各状态的检测值来决定各状态下的角速度传感器123的检测值的阈值和规定时间。需要说明的是,控制部132也可以决定各状态下的磁传感器121的检测值的阈值和规定时间、加速度传感器122的检测值的阈值和规定时间。
在此,对学习动作的学习模式时控制部132进行的处理的一例进行说明。
控制部132例如将催促从正面朝向下方的运动的指示向图像变更部133输出。图像变更部133将基于催促从正面朝向下方的运动的指示得到的信息显示于显示部14。利用者在规定时间(例如2秒以上)内反复地进行与显示部14上显示的信息对应的运动。控制部132取得将指示显示于显示部14的期间的各传感豁的检测值。控制部132为了学习而针对各状态催促例如5组动作,并使用5组动作时取得的检测值来学习各状态的检测值,由此决定角速度传感器123的检测值的阈值。需要说明的是,1组动作是指在规定时间内进行多次从正面朝向下方的运动。另外,控制部132在各传感器的检测值中提取例如极大值,并基于提取的极大值的期间来决定用于判别各动作的规定时间。
接下来,对存储部131存储的信息的一例进行说明。
图3是表示与本实施方式所涉及的存储部131存储的状态相关的检测值的一例的图。如图3所示,存储部131将使用磁传感器121和加速度传感器122的检测值而计算出的方位的阈值及规定时间与状态建立对应关系来存储。例如,存储部131将作为方位的阈值的(θ12、)和作为规定时间的t11与朝上状态建立对应关系来存储。存储部131将作为方位的阈值的(θ22、)和作为规定时间的t21与正面状态建立对应关系来存储。需要说明的是,θ12、θ22是水平方向的方位,是垂直方向的方位。另外,θ12、θ22、也可以具有范围的值。另外,规定时间t11~t91也可以是相同的值。
图4是表示与本实施方式所涉及的存储部131存储的动作相关的检测值的一例的图。如图4所示,存储部131将方位的变化量的阈值及规定时间与动作建立对应关系来存储。例如,存储部131将作为方位的变化量的阈值的(Δ0101、)和作为规定时间的t101与从正面变成朝下的动作建立对应关系来存储。存储部131将作为方位的变化量的阈值的(Δθ201、)和作为规定时间的t201与从朝上变成正面的动作建立对应关系来存储。
<朝下状态、纵摆动作、横摆动作的检测>
接下来,对朝下状态、纵摆动作、横摆动作的检测方法进行说明。
控制部132在使用磁传感器121的检测值和加速度传感器122的检测值而计算出的方位(θ、)为方位的阈值(θ32、)以上的状态持续第一规定时间t31以上时,判别为是朝下状态。
另外,控制部132在方位的变化量为(Δθ101、)以上且持续第二规定时间t101以上(从正面变成朝下的动作)、方位的变化量为(Δθ201、)以上且持续第二规定时间t201以上(从朝上变成正面的动作)、方位的变化量为(Δθ301、)以上且持续第二规定时间t301以上(从朝上变成朝下的动作)中的至少一个被检测出第一规定次数时,判别为是纵摆动作。需要说明的是,控制部132也可以在学习模式时决定使用方位的变化量与规定时间的组合中的哪一阈值。需要说明的是,控制部132也可以在例如使用角速度传感器123的检测值而计算出的角速度ω为角速度的阈值ω11、ω21、ω31中的至少一个的值以上的状态在第二规定时间(t101、t201、t201)内检测出第二规定次数以上时,判别为是纵摆动作。
另外,控制部132在方位的变化量为(Δθ401、)以上且持续第三规定时间t401以上(从正面变成朝右的动作)、方位的变化量为(Δθ401、)以上且持续第三规定时间t501以上(从正面变成朝左的动作)中的至少一个被检测出第二规定次数时,判别为是横摆动作。需要说明的是,控制部132也可以在学习模式时决定使用方位的变化量与规定时间的组合中的哪一阈值。需要说明的是,控制部132也可以在例如使用角速度传感器123的检测值而计算出加速度ω为角速度的阈值ω41、ω51中的至少一个的值以上的状态在第三规定时间(t401、t501)内检测出第二规定次数以上时,判别为是横摆动作。
<在HMD1的显示部14上显示的信息的例子>
接下来,对在HMD1的显示部14上显示的图像的例子进行说明。
图5是表示在本实施方式所涉及的显示部14上显示的信息的一例的图。
图像g101是在利用者将HMD1佩戴于头部并朝向正面的状态(通常状态)时显示于显示部14的图像的一例。通常状态时显示的图像是在外界的图像上重叠有由点划线g121包围的区域的时刻信息的图像。需要说明的是,外界的图像并非图像变更部133制作出的图像,而是利用者通过显示部14而视觉确认的图像。另外,由点划线g111包围的区域的信息是利用者预先作为在通常状态时显示的信息而设定的信息,例如为时刻信息。
利用者在将头部从通常状态变成朝下状态(St1;头部方位下)的情况下,图像g102被显示。朝下状态时显示的图像是在外界的图像上重叠有由点划线g121包围的区域的信息的图像。由点划线g121包围的区域的信息是基于利用者预先作为在朝下状态时显示的信息而设定的信息得到的图像,例如是与当前地点或目的地的天气预报相关的信息。即,在本实施方式中,在HMD1的状态发生了变化时,控制部132切换在显示部14上显示的信息而使该信息发生变化。
在利用者从通常状态进行了纵摆动作(St2;头部运动,点头)的情况下,图像g103被显示。纵摆动作时显示的图像是在外界的图像上除了重叠有由点划线g111包围的区域的信息以外还重叠有由点划线g131包围的区域的信息的图像。由点划线包围的区域的信息是利用者预先作为在纵摆动作时显示的信息而设定的信息,例如为从当前地点向目的地的路线、行进方向等与导航相关的信息。
在利用者从通常状态进行了横摆动作(St3;头部运动,左右)的情况下,图像g104被显示。纵摆动作时显示的图像是在外界的图像上除了重叠有由点划线g111包围的区域的信息以外还重叠有由点划线g141包围的区域的信息的图像。由点划线g141包围的区域的信息是利用者预先作为在横摆动作时显示的信息而设定的信息,例如为与日程相关的信息。
即,在本实施方式中,当HMD1的动作发生了变化时,控制部132追加显示于显示部14的信息并使该信息发生变化。需要说明的是,在HMD1的动作从纵摆动作变化为横摆动作的情况下,控制部132通过除了图像g103所显示的信息(时刻信息、导航信息)以外,还加入与日程相关的信息,由此使显示的信息发生变化。换言之,当HMD1在规定时间内进行了通常状态(基准姿态)与通常状态(基准姿态)以外的状态之间的往复动作的情况下,本实施方式的HMD1使附加信息显示。通常状态(基准姿态)以外的状态是指朝下姿态、朝上姿态、朝左姿态、朝右姿态、朝左上姿态、朝右上姿态、朝左下姿态、朝右下姿态。另外,附加信息例如是指导航信息、日程信息等。
需要说明的是,利用者在朝下状态、纵摆动作、横摆动作时存在想要显示的情况和不想显示的情况。因此,利用者在想要将信息显示于HMD1的情况下,对操作部10进行操作而进行使信息显示于HMD1的指示,在不想将信息显示于HMD1的情况下,对操作部10进行操作而进行不使信息显示于HMD1的指示。控制部132根据操作部10取得的指示信息来生成显示指示或者非显示指示。图像变更部133在控制部132输出了显示指示的情况下,从取得部11输出的信息中将基于与检测部12的检测值对应的信息得到的图像显示于显示部14。或者图像变更部133在控制部132输出了非显示指示的情况下,不将基于取得部11输出的信息得到的图像显示于显示部14。
另外,在图5所示的例子中,示出了在通常状态时在显示部14上显示时刻信息,在状态发生了变化时使时刻信息向其他信息变化,且在动作发生了变化时加入其他信息的例子,但并不局限于此。控制部132也可以控制成,在通常状态时在显示部14上显示空白信息,即不显示信息,在状态发生了变化时变化成显示其他信息,在动作发生了变化时向空白信息加入其他信息。
<阈值的学习和显示图像的变更处理步骤>
接下来,对阈值的学习和显示图像的变更处理步骤进行说明。
图6是本实施方式所涉及的阈值的学习和显示图像的变更处理的流程图。
需要说明的是,在以下的处理中,利用者分别预先设定朝下状态时显示的信息、纵摆动作时显示的信息及横摆动作时显示的信息。
(步骤S1)控制部132从取得部11取得操作指示。接下来,控制部132判别取得的操作指示中是否包括表示学习模式的指示。
控制部132在判别为包括表示学习模式的指示的情况(步骤S1;是)下,进入步骤S2,在判别为不包括表示学习模式的指示的情况(步骤S1;否)下,进入步骤S5。
(步骤S2)控制部132在利用者hu将HMD1佩戴于头部时取得各状态、各动作各自的磁传感器121的检测值及加速度传感器122的检测值。接下来,控制部132使用取得的磁传感器121的检测值和加速度传感器122的检测值利用公知的方法来计算方位和方位的变化量。需要说明的是,控制部132也可以取得在利用者hu将HMD1佩戴于头部时的各动作各自的角速度传感器123的检测值,并使用取得的检测值利用公知的方法来计算角速度。
(步骤S3)控制部132使用计算出的各状态及各动作的方位和方位的变化量,分别设定识别各状态及各动作的方位的阈值和方位的变化量的阈值。接下来,控制部132在学习模式中测定进行了各状态及各动作的时间,并基于测定出的时间来设定各规定时间。接下来,控制部132将用于识别HMD1的状态的方位的阈值及规定时间与HMD1的状态建立对应关系而写入存储部131。接下来,控制部132将用于识别HMD1的动作的方位的变化量的阈值及规定时间与HMD1的动作建立对应关系而写入存储部131。
需要说明的是,控制部132也可以使用计算出的各动作的角速度,来分别设定识别各动作的角速度的阈值,在学习模式中测定进行了各动作的时间,并基于测定出的时间来设定各规定时间。接下来,控制部132也可以将用于识别HMD1的动作的角速度的阈值及规定时间与HMD1的动作建立对应关系而写入存储部131。控制部132在处理结束后返回步骤S1的处理。
(步骤S5)取得部11从外部装置取得信息,并将取得的信息向图像变更部133输出。接下来,控制部132在利用者hu将HMD1佩戴于头部时取得磁传感器121的检测值及加速度传感器122。接下来,控制部132使用取得的磁传感器121的检测值和加速度传感器122的检测值利用公知的方法来计算方位和方位的变化量。
(步骤S6)控制部132对在步骤S5中计算出的方位及方位的变化量和存储于存储部131的阈值进行比较。
(步骤S7)控制部132根据在步骤S5中计算出的方位为存储于存储部131的朝下状态的方位的阈值以上的期间是否持续并超过作为规定时间的阈值的第一规定时间t31以上,来判别是否为朝下状态。
控制部132在判别为是朝下状态的情况(步骤S7;是)下,进入步骤S8的处理,在判别为不是朝下状态的情况(步骤S7;否)下,进入步骤S9的处理。
(步骤S8)控制部132切换在朝下状态时显示之际使用的信息所显示的信息。需要说明的是,显示部14显示的图像是取得部11取得的信息中的至少一个。控制部使处理进入步骤S13。
(步骤S9)控制部132根据在步骤S5中计算出的方位的变化量为存储于存储部131的从正面变成朝下、从朝上变成正面、从朝上变成朝下中的至少一个的方位的变化量的阈值以上的期间是否在作为规定时间的阈值的第二规定时间(t101、t102、t103)内发生第一规定次数以上,来判别是否为纵摆动作。控制部132在判别为是纵摆动作的情况(步骤S9;是)下,进入步骤S10的处理,在判别为不是纵摆动作的情况(步骤S9;否)下,进入步骤S11的处理。
(步骤S10)控制部132切换在纵摆动作时显示之际使用的信息所显示的信息。控制部使处理进入步骤S13。
(步骤S11)控制部132根据在步骤S5中计算出的方位的变化量为存储于存储部131的从正面变成朝右、从正面变成朝左中的至少一个的方位的变化量的阈值以上的期间是否在作为规定时间的阈值的第三规定时间(t401、t501)内发生第二规定次数以上,来判别是否为横摆动作。控制部132在判别为是横摆动作的情况(步骤S11;是)下,进入步骤S12的处理,在判别为不是横摆动作的情况(步骤S11;否)下,返回步骤S5的处理。
(步骤S12)控制部132切换在横摆动作时显示之际使用的信息所显示的信息。控制部使处理进入步骤S13。
(步骤S13)图像变更部133使用在步骤S8、S10或者S12中控制部132切换的信息来生成显示图像。接下来,显示部14显示图像变更部133生成的图像。
以上,结束阈值的学习和显示图像的变更处理。
需要说明的是,在上述的例子中,说明了在学习模式时学习图3所示的全部的状态的阈值的例子,但也可以仅学习进行信息的切换的状态。
如以上那样,根据本实施方式,能够根据图像显示装置的移动即利用者的头部的移动(状态、动作)来变更显示的信息。另外,根据本实施方式,能够根据朝上、点头、横摆动作等HMD1的简单的动作来进行多个显示数据的变更。另外,根据本实施方式,能够根据HMD1的简单的动作来选择性地显示更多的显示数据。另外,根据本实施方式,能够根据动作图案来进行不同的信息的显示。
[第二实施方式]
图7是表示本实施方式所涉及的HMD1A的简要结构的框图。
如图7所示,HMD1A具备操作部10、取得部11A、检测部12、信息变更部13A、显示部14及发送部15。信息变更部13A具备存储部131、控制部132A及图像变更部133。需要说明的是,在具有与第一实施方式中的HMD1相同的功能的功能部上使用相同的符号并省略说明。另外,如图7所示,HMD1A进行与车辆2及终端3的通信。HMD1A例如使用Bluetooth(注册商标)LE(Low Energy)(以下,称作BLE)规格的通信方式而进行与车辆2及终端3的通信。
车辆2具备检测部21、雷达22及发送部23。需要说明的是,车辆2具备车架、发动机及转向盘等(未图示)。另外,检测部21具备余量检测部211和车速检测部212。另外,雷达22具备信号生成部221、发送部222、接收部223、其他车辆检测部224及人检测部225。终端3具备接收部31、操作部32、控制部33、显示部34、显示信息生成部35及发送部36。
首先,对车辆2进行说明。
车辆2例如是四轮车、骑跨型车辆、机动二轮车等。车辆2通过发送部23将检测部21检测到的信息向终端3发送。另外,车辆2通过发送部23将雷达22检测到的信息向终端3发送。
检测部21检测车辆2的状态并将表示检测到的状态的信息向发送部23输出。余量检测部211检测作为车辆2的状态的燃料(汽油、电力等)的余量,并将表示检测到的余量的信息向发送部23输出。车速检测部212检测作为车辆2的状态的车速,并将表示检测到的车速的信息向发送部23输出。
雷达22是例如使用毫米波的MIMO(Multiple-Input Multiple-Output)方式的雷达,检测其他车辆及人(包括行人),并将检测到的结果作为表示雷达检测结果的信息而向发送部23输出。需要说明的是,雷达22也可以使用红外线、超声波、摄像装置拍摄到的图像等来检测其他车辆、人。
信号生成部221生成发送信号,并将生成的发送信号向发送部222、其他车辆检测部224及人检测部225输出。
发送部222包括发送天线,将信号生成部221输出的发送信号转换为发送波,并将转换后的发送波从发送天线发送。
接收部223包括接收天线,接收对象物(其他车辆、行人等)所反射的反射波即接收波,并将接收到的接收波转换为接收信号。另外,接收部223将接收信号向其他车辆检测部224及人检测部225输出。
其他车辆检测部224对信号生成部221输出的发送信号、接收部223输出的接收信号使用公知的方法来进行其他车辆的检测,在检测到其他车辆的情况下,将表示检测到的结果的信息向发送部23输出。
人检测部225对信号生成部221输出的发送信号、接收部223输出的接收信号使用公知的方法来进行人的检测,在检测到人的情况下,将表示检测到的结果的信息向发送部23输出。
发送部23将检测部21输出的表示车辆2的状态的信息和雷达22输出的表示雷达检测结果的信息向终端3发送。
接下来,对终端3进行说明。
终端3例如是智能手机、平板终端等。终端3检测利用者的操作指示,在检测到的操作指示中包含向HMD1A发送的指示的情况下,提取指示并将提取的指示向HMD1A发送。另外,终端3根据选择HMD1输出的显示于显示部14的信息的指示即信息选择指示,来从车辆接收到的信息中切换接收的信息,并基于切换的信息来生成显示信息,且将生成的显示信息向HMD1A发送。
接收部31接收车辆2发送的表示车辆2的状态的信息和表示雷达检测结果的信息,并将接收到的表示车辆2的状态的信息和表示雷达检测结果的信息向显示信息生成部35输出。另外,接收部31将HMD1A输出的信息选择指示向控制部33输出。另外,接收部31取得经由网络(未图示)而接收到的直至目的地的导航信息,并将取得的导航信息向控制部33输出。需要说明的是,接收部31经由网络取得天气预报、表示当前地点的信息、处于当前地点的周边的店铺等的信息、车辆的前进道路上的交通拥堵信息等,并将取得的信息向控制部33输出。
操作部32例如是安装于显示部34上的触摸面板式传感器,检测利用者的操作,并将检测到的操作结果向控制部33输出。需要说明的是,操作结果中包括学习模式的开始指示、对进行信息的显示的情况进行设定的信息显示指示、对不进行信息的显示的情况进行设定的信息非显示指示、取得表示出发地的信息、表示目的地的信息、导航信息的指示等。
控制部33根据接收部31输出的信息选择指示,生成从接收部31接收到的信息中切换显示于HMD1A的显示部14的信息的切换指示。控制部33将生成的切换指示向显示信息生成部35输出。控制部33从操作部32输出的操作结果中提取学习模式的开始指示、信息显示指示、信息非显示指示。控制部33将提取的学习模式的开始指示、信息显示指示、信息非显示指示向发送部36输出。需要说明的是,控制部33也可以在操作部32输出的操作结果中包含信息非显示指示的情况下,向发送部36输出不将显示信息向HMD1A发送的指示。控制部33将操作部32输出的取得表示出发地的信息、表示目的地的信息、导航信息的指示、取得交通拥堵信息的指示等向发送部36输出。
显示部34例如是液晶显示面板,包括背光源而构成。显示部34显示控制部33输出的图像信息。图像信息包括进行HMD1A的设定及操作的图像、设定与车辆2的通信的图像等。
显示信息生成部35根据控制部33输出的切换指示,对接收部31输出的信息切换为向HMD1A发送的信息。显示信息生成部35基于切换后的结果而从接收部31输出的信息中选择信息,并基于选择的信息来生成在HMD1A的显示部14上显示的显示信息。显示信息生成部35将生成的显示信息向发送部36输出。需要说明的是,显示信息是车辆2的车速信息、车辆2的燃料的余量信息、表示雷达检测结果的信息、导航信息、交通拥堵信息、当前地点信息中的至少一个。
发送部36将控制部33输出的学习模式的开始指示、信息显示指示、信息非显示指示向HMD1A发送。另外,发送部36将显示信息向HMD1A发送。
接下来,对HMD1A进行说明。
取得部11A取得终端3发送的学习模式的开始指示、信息显示指示、信息非显示指示及显示信息。取得部11A将取得的显示信息向图像变更部133输出。另外,取得部11A将取得的学习模式的开始指示、信息显示指示、信息非显示指示向控制部132A输出。
控制部132A取得取得部11A输出的学习模式的开始指示、信息显示指示、信息非显示指示。控制部132A取得检测部12输出的检测值。
控制部132A在学习模式的开始指示的情况下,与控制部132同样地进行阈值的学习,并将学习的阈值和规定时间存储于存储部131。控制部132A使用检测部12输出的检测值、存储部131存储的阈值及规定时间,与控制部132同样地判别HMD1A的状态(通常状态、朝下状态、纵摆动作、横摆动作),并基于判别出的结果来生成信息选择指示。控制部132A将生成的信息选择指示向发送部15输出。另外,控制部132A根据取得的信息来生成显示指示或者非显示指示,并将生成的显示指示或者非显示指示向图像变更部133输出。
发送部15将控制部132A输出的信息选择指示向终端3发送。
<在HMD1A的显示部14上显示的信息的例子>
接下来,对在HMD1A的显示部14上显示的信息的例子进行说明。
图8是表示在本实施方式所涉及的显示部14上显示的信息的一例的图。
图像g201是利用者将HMD1佩戴于头部且在通常状态时显示于显示部14的图像的一例。通常状态时显示的图像是在外界的图像上重叠有由点划线g211包围的区域的信息的图像。由点划线g211包围的区域的信息是导航信息,例如,包括表示前进道路的图像、表示路线的图像、表示当前的交叉路口名称的图像、表示下一交叉路口名称的图像、表示到下一交叉路口的距离的图像等。需要说明的是,导航信息的显示位置可以由利用者对终端3或者HMD1A进行操作来设定,也可以是预先确定的位置。优选预先确定的位置是指例如在利用者的视野中假定为路面被视觉确认的位置。
在利用者从通常状态变成使头部朝下的朝下状态(St1;头部方位下)的情况下,图像g202被显示。朝下状态时显示的图像是在外界的图像上重叠有由点划线g221包围的区域的信息的图像。由点划线g221包围的区域的信息中例如包括表示当前的时刻的信息、到目的地的距离、表示到达目的地的预定时刻的信息、行驶到目的地的情况下的推定剩余时间等。这样,在本实施方式中,在HMD1A从通常状态变化为朝下状态时,HMD1A将显示信息从导航信息切换为到目的地的距离等信息而进行显示。需要说明的是,显示信息的位置由利用者对终端3或者HMD1A进行操作来设定。
在利用者将HMD1佩戴于头部并使头部从通常状态变成纵摆动作(St2;头部运动,点头)的情况下,图像g203被显示。纵摆动作时显示的图像是在外界的图像上除了重叠有表示导航信息的点划线g211以外还重叠有由点划线g231~g233包围的区域的信息的图像。由点划线g231包围的区域的信息中包括表示行人位置的信息,由点划线g232包围的区域的信息中例如包括表示车速的信息,由点划线g233包围的区域的信息中包括表示燃料的余量的信息。这样,在本实施方式中,在HMD1A从通常状态变化为纵摆动作时,HMD1A将显示信息切换为向导航信息加入了车速和燃料的余量等信息后的信息而进行显示。需要说明的是,在图8所示的例子中,例示了在从通常状态变化为纵摆动作时,除了在通常状态下显示的导航信息以外还显示车速、燃料的余量等信息的例子,但并不局限于此。在从通常状态变化为纵摆状态时,也可以从导航信息切换为车速、燃料的余量等信息。另外,由点划线g231~g233包围的区域的信息的显示位置可以是预先设定的位置,或者也可以是利用者对终端3或者HMD1A进行操作来设定的位置。
在利用者将HMD1佩戴于头部并使头部从纵摆动作变成横摆动作(St3;头部运动,左右)的情况下,图像g204被显示。横摆动作时显示的图像是在外界的图像上除了重叠有表示导航信息的点划线g211以外还重叠有在纵摆动作时显示的信息(车速、燃料的余量)和由点划线g241~g245包围的区域的信息的图像。由点划线g241包围的区域的信息中包括表示在车辆2的进行方向上检测到的人的被预测的移动的信息。由点划线g242包围的区域的信息中包括表示车辆2的进行方向上的其他车辆的被预测的移动的信息。由点划线g243包围的区域的信息中包括表示车辆2行驶的道路的限制速度的信息。由点划线g244包围的区域的信息中包括表示目的地名称的图像,点划线g245中包括表示预测为直至补给燃料为止能够行驶的行驶距离的图像。这样,在本实施方式中,在HMD1A从横摆动作变化为纵摆动作时,HMD1A将显示信息切换为除了通常状态下显示的信息及在纵摆动作时显示的信息以外还加入了在横摆动作时显示的信息后的信息而进行显示。需要说明的是,在图8所示的例子中,示出了在从纵摆动作变化为横摆动作时显示的信息的例子,但并不局限于此。在从通常状态变化为纵摆动作时,也可以切换为除了通常状态时显示的信息以外还加入了在横摆动作时显示的信息后的信息。另外,由点划线g241~g245包围的区域的信息的显示位置可以是预先设定的位置,或者也可以是利用者对终端3或者HMD1A进行操作来设定的位置。
即,当HMD1A在规定时间内进行了通常状态(基准姿态)与通常状态(基准姿态)以外的状态之间的往复动作的情况下,本实施方式的HMD1A使附加信息显示。通常状态(基准姿态)以外的状态是指朝下姿态、朝上姿态、朝左姿态、朝右姿态、朝左上姿态、朝右上姿态、朝左下姿态及朝右下姿态。另外,附加信息例如是指车速信息、燃料的余量信息、其他车辆信息、行人信息、目的地信息等。这样,附加信息是在乘坐于车辆2的利用者佩戴HMD1A的情况下与车辆2相关的信息、与车辆2的行驶相关的信息,是与HMD1被利用的状况对应的信息。
需要说明的是,在利用者将HMD1A佩戴于头部而乘坐于作为骑跨型的车辆2的情况下,控制部132A也可以基于车辆2的车速来取得车辆2行驶时的检测部12的检测值,并使用取得的检测值来修正各状态及各动作的阈值。例如,利用者乘坐于车辆2时的通常状态可能有时比学习模式时的朝向正面的姿态前屈。在这样的状态下即便使利用者的头部成为朝下状态或者进行纵摆动作,在通常状态下进行的学习模式时的阈值的情况下,可能也有时无法检测各状态及各动作。因此,控制部132A也可以使用行驶时的检测值来修正阈值。另外,关于横摆动作,在佩戴头盔时,在学习模式时设定的阈值的情况下,也可能有时无法检测,因此控制部132A可以使用行驶时的检测值来修正阈值。
需要说明的是,在第二实施方式中,作为显示于显示部14的信息的例子,说明了导航信息、车速、燃料的余量、进行方向上的人、其他车辆的移动、目的地名称、直至补给燃料为止能够行驶的距离等例子,但并不局限于此。作为其他的信息的例子,也可以是与当前地点相关的信息(道路信息、周边的店铺信息)、处于前进道路上的地标名、车辆2的水温计的值、车辆的行驶距离(行程)、发动机的控制模式、悬架的控制模式、紧急车辆的有无、道路施工的有无、前进道路上的前方方向的交通拥堵的有无等信息。需要说明的是,这些信息例如可以由终端3经由通信线路取得而向HMD1A发送,且车辆2取得道路信息而向HMD1A发送。
需要说明的是,在第一实施方式及第二实施方式中,说明了对朝下状态、纵摆动作、横摆动作进行检测的例子,但并不局限于此。控制部132或者132A也可以例如图3所示那样,对朝上状态、朝左状态、朝右状态、朝左上状态、朝右上状态、朝左下状态、朝右下状态进行检测,并根据检测到的状态来切换显示的信息。即,控制部132或者132A也可以使用检测部12的检测结果来进行相对于HMD11或者HMD1A的通常状态(基准状态)而言的上下、左右、倾斜方向中的至少一个的状态的判定。
如以上那样,根据本实施方式,能够根据HMD1A的动作(包括的状态)来切换与HMD1A被利用的状况对应的附加信息的显示。另外,根据本实施方式,能够在HMD1A上显示与车辆2相关的信息,能够根据HMD1A的动作来切换显示的信息。
需要说明的是,也可以将用于实现本发明中的HMD1、HMD1A的功能的程序记录于计算机可读取的记录介质,并使计算机系统读入并执行记录于该记录介质的程序,由此进行显示信息的切换、基于显示信息得到的图像的显示等。需要说明的是,在此所说的“计算机系统”包括OS、周边设备等硬件。另外,“计算机系统”还包括具备网页提供环境(或者显示环境)的WWW系统。另外,“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可移动介质和内置于计算机系统的硬盘等存储装置。“计算机可读取的记录介质”还包括如经由因特网等网络、电话线路等通信线路来发送程序时的成为服务器、客户机的计算机系统内部的易失性存储器(RAM)那样在一定时间内保持程序的记录介质。
另外,上述程序也可以从将该程序保存于存储装置等的计算机系统经由传送介质或者通过传送介质中的传送波向其他的计算机系统传送。在此,传送程序的“传送介质”是指如因特网等网络(通信网)、电话线路等通信线路(通信线)那样具有传送信息的功能的介质。另外,上述程序也可以用于实现前述功能的一部分。此外,也可以是能够通过与已经记录于计算机系统的程序的组合来实现前述的功能的所谓的差分文件(差分程序)。
符号说明:
1、1A…头戴式显示器(HMD),2…车辆,3…终端,10…操作部,11、11A…取得部,12…检测部,13、13A…信息变更部,131…存储部,132、132A…控制部,133…图像变更部,14…显示部,15…发送部,121…磁传感器,122…加速度传感器,123…角速度传感器,21…检测部,22…雷达,23…发送部,211…余量检测部,212…车速检测部,221…信号生成部,222…发送部,223…接收部,224…其他车辆检测部,225…人检测部,31…接收部,32…操作部,33…控制部,34…显示部,35…显示信息生成部,36…发送部。
权利要求书(按照条约第19条的修改)
1.(修改后)一种图像显示装置,其中,
所述图像显示装置具备:
取得部,其取得两个以上的信息;
检测部,其检测图像显示装置的加速度、方位及角速度中的至少一个;
图像变更部,其基于所述检测部检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从所述取得部取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据;以及
显示部,其显示所述显示数据,
当所述图像显示装置在规定时间内进行了基准姿态与基准姿态以外的姿态之间的往复动作的情况下,所述图像变更部生成附加信息。
2.根据权利要求1所述的图像显示装置,其中,
所述图像变更部基于所述检测部检测到的结果,来判定与相对于所述图像显示装置的基准状态而言的上下、左右、倾斜方向中的至少一个相关的所述图像显示装置的状态。
3.(删除)
4.(修改后)根据权利要求1所述的图像显示装置,其中,
所述附加信息是与所述图像显示装置被利用的状况对应的信息。
5.(修改后)根据权利要求1或4所述的图像显示装置,其中,
在所述图像显示装置的利用者乘坐于车辆的情况下,
所述取得部从所述车辆取得与所述车辆相关的信息,
所述附加信息是与所述车辆相关的信息。
6.(修改后)一种图像显示方法,其为图像显示装置的图像显示方法,其中,
所述图像显示方法包括:
取得两个以上的信息的取得步骤;
检测所述图像显示装置的加速度、方位及角速度中的至少一个的检测步骤;
基于由所述检测步骤检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从由所述取得步骤取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据的图像变更步骤;以及
显示所述显示数据的显示步骤,
在所述图像变更步骤中,当所述图像显示装置在规定时间内进行了基准姿态与基准姿态以外的姿态之间的往复动作的情况下,生成附加信息。
Claims (6)
1.一种图像显示装置,其中,
所述图像显示装置具备:
取得部,其取得两个以上的信息;
检测部,其检测图像显示装置的加速度、方位及角速度中的至少一个;
图像变更部,其基于所述检测部检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从所述取得部取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据;以及
显示部,其显示所述显示数据。
2.根据权利要求1所述的图像显示装置,其中,
所述图像变更部基于所述检测部检测到的结果,来判定与相对于所述图像显示装置的基准状态而言的上下、左右、倾斜方向中的至少一个相关的所述图像显示装置的状态。
3.根据权利要求1或2所述的图像显示装置,其中,
当所述图像显示装置在规定时间内进行了基准姿态与基准姿态以外的姿态之间的往复动作的情况下,所述图像变更部生成附加信息。
4.根据权利要求3所述的图像显示装置,其中,
所述附加信息是与所述图像显示装置被利用的状况对应的信息。
5.根据权利要求3或4所述的图像显示装置,其中,
在所述图像显示装置的利用者乘坐于车辆的情况下,
所述取得部从所述车辆取得与所述车辆相关的信息,
所述附加信息是与所述车辆相关的信息。
6.一种图像显示方法,其为图像显示装置的图像显示方法,其中,
所述图像显示方法包括:
取得两个以上的信息的取得步骤;
检测所述图像显示装置的加速度、方位及角速度中的至少一个的检测步骤;
基于由所述检测步骤检测到的结果来判定所述图像显示装置的状态,根据所述判定的所述图像显示装置的状态来切换从由所述取得步骤取得的所述两个以上的信息中选择的信息,并生成基于切换后的所述信息得到的显示数据的图像变更步骤;以及
显示所述显示数据的显示步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016025244 | 2016-02-12 | ||
JP2016-025244 | 2016-02-12 | ||
PCT/JP2017/000242 WO2017138278A1 (ja) | 2016-02-12 | 2017-01-06 | 画像表示装置および画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108475495A true CN108475495A (zh) | 2018-08-31 |
CN108475495B CN108475495B (zh) | 2021-01-19 |
Family
ID=59563614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780006905.1A Active CN108475495B (zh) | 2016-02-12 | 2017-01-06 | 图像显示装置及图像显示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10642033B2 (zh) |
EP (1) | EP3416159B1 (zh) |
JP (1) | JP6598317B2 (zh) |
CN (1) | CN108475495B (zh) |
WO (1) | WO2017138278A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113228157A (zh) * | 2018-12-27 | 2021-08-06 | 本田技研工业株式会社 | 图像显示装置、图像显示系统及图像显示方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113196377B (zh) * | 2018-12-20 | 2024-04-12 | Ns西日本株式会社 | 显示光射出装置、平视显示装置、图像显示系统及头盔 |
CN110032969B (zh) * | 2019-04-11 | 2021-11-05 | 北京百度网讯科技有限公司 | 用于检测图像中的文本区域的方法、装置、设备以及介质 |
JP7287257B2 (ja) * | 2019-12-06 | 2023-06-06 | トヨタ自動車株式会社 | 画像処理装置、表示システム、プログラムおよび画像処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09309372A (ja) * | 1996-05-24 | 1997-12-02 | Nissan Motor Co Ltd | 搭乗姿勢検出装置及び情報選択装置 |
JP2003345492A (ja) * | 2002-05-27 | 2003-12-05 | Sony Corp | 携帯電子機器 |
JP2010097393A (ja) * | 2008-10-16 | 2010-04-30 | Casio Hitachi Mobile Communications Co Ltd | 画像表示装置及びプログラム |
JP2013083731A (ja) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
US20130127608A1 (en) * | 2011-11-21 | 2013-05-23 | Denso Corporation | Display apparatus for vehicle |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3403361B2 (ja) * | 1999-09-30 | 2003-05-06 | 川崎重工業株式会社 | ヘッド・マウント・ディスプレイ装置 |
EP1517277A3 (en) | 2003-09-22 | 2006-10-25 | Matsushita Electric Industrial Co., Ltd. | Secure device and information processing unit |
JP2005099908A (ja) | 2003-09-22 | 2005-04-14 | Matsushita Electric Ind Co Ltd | カード機能を有する情報記憶装置と情報処理装置 |
JP2007134785A (ja) | 2005-11-08 | 2007-05-31 | Konica Minolta Photo Imaging Inc | 頭部装着型の映像表示装置 |
EP2619749A4 (en) | 2010-09-21 | 2017-11-15 | 4IIII Innovations Inc. | Head-mounted peripheral vision display systems and methods |
US20120095643A1 (en) * | 2010-10-19 | 2012-04-19 | Nokia Corporation | Method, Apparatus, and Computer Program Product for Modifying a User Interface Format |
US20140098008A1 (en) * | 2012-10-04 | 2014-04-10 | Ford Global Technologies, Llc | Method and apparatus for vehicle enabled visual augmentation |
US9204288B2 (en) | 2013-09-25 | 2015-12-01 | At&T Mobility Ii Llc | Intelligent adaptation of address books |
US10386921B2 (en) * | 2013-12-03 | 2019-08-20 | Nokia Technologies Oy | Display of information on a head mounted display |
DE102014004178A1 (de) * | 2014-03-22 | 2015-09-24 | Audi Ag | Verfahren zum Darstellen fahrtbezogener und/oder fahrzeugspezifischer Daten |
US9767373B2 (en) * | 2014-09-05 | 2017-09-19 | Ford Global Technologies, Llc | Head-mounted display head pose and activity estimation |
US9588593B2 (en) * | 2015-06-30 | 2017-03-07 | Ariadne's Thread (Usa), Inc. | Virtual reality system with control command gestures |
-
2017
- 2017-01-06 EP EP17750003.0A patent/EP3416159B1/en active Active
- 2017-01-06 JP JP2017566547A patent/JP6598317B2/ja active Active
- 2017-01-06 US US16/066,683 patent/US10642033B2/en active Active
- 2017-01-06 WO PCT/JP2017/000242 patent/WO2017138278A1/ja active Application Filing
- 2017-01-06 CN CN201780006905.1A patent/CN108475495B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09309372A (ja) * | 1996-05-24 | 1997-12-02 | Nissan Motor Co Ltd | 搭乗姿勢検出装置及び情報選択装置 |
JP2003345492A (ja) * | 2002-05-27 | 2003-12-05 | Sony Corp | 携帯電子機器 |
JP2010097393A (ja) * | 2008-10-16 | 2010-04-30 | Casio Hitachi Mobile Communications Co Ltd | 画像表示装置及びプログラム |
JP2013083731A (ja) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
US20130127608A1 (en) * | 2011-11-21 | 2013-05-23 | Denso Corporation | Display apparatus for vehicle |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113228157A (zh) * | 2018-12-27 | 2021-08-06 | 本田技研工业株式会社 | 图像显示装置、图像显示系统及图像显示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6598317B2 (ja) | 2019-10-30 |
WO2017138278A1 (ja) | 2017-08-17 |
CN108475495B (zh) | 2021-01-19 |
US10642033B2 (en) | 2020-05-05 |
EP3416159A4 (en) | 2019-07-24 |
EP3416159A1 (en) | 2018-12-19 |
JPWO2017138278A1 (ja) | 2018-10-11 |
EP3416159B1 (en) | 2020-08-26 |
US20190155024A1 (en) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108475495A (zh) | 图像显示装置及图像显示方法 | |
US10665205B2 (en) | Determining correlated movements associated with movements caused by driving a vehicle | |
EP2541210B1 (en) | A method of operating a synthetic vision system in an aircraft | |
WO2014096517A1 (en) | Helmet-based navigation notifications | |
CN108028016A (zh) | 增强现实显示系统 | |
CN106648108A (zh) | 车辆‑可穿戴装置界面及使用其的方法 | |
US20170115730A1 (en) | Locating a Head Mounted Display in a Vehicle | |
EP3220359B1 (en) | Vehicle and vehicle control method | |
US11110933B2 (en) | Driving support device, wearable device, driving support system, driving support method, and computer-readable recording medium | |
JP2015191256A (ja) | 危険度合い判定装置、危険度合い判定方法および危険度合い判定プログラム | |
JP2021098923A (ja) | スマートヘルメットによる車両における車両感知ジェスチャ認識のシステム及び方法 | |
CN112513784B (zh) | 自动隐藏显示内容的、用于车辆的数据眼镜 | |
JP2013025220A (ja) | 安全確保システム、装置、方法及びプログラム | |
EP3869302A1 (en) | Vehicle, apparatus and method to reduce the occurence of motion sickness | |
KR101578741B1 (ko) | 이동 단말기 및 그 제어 방법 | |
CN109669536B (zh) | 一种驾驶舱人机视觉交互系统 | |
CN110347163B (zh) | 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统 | |
JP6580373B2 (ja) | ヘッドマウントディスプレイを制御するプログラム、システム、及び方法。 | |
JP2020121704A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
US11900550B2 (en) | AR odometry using sensor data from a personal vehicle | |
WO2024104023A1 (zh) | 一种信息显示方法及相关装置 | |
CN106652644A (zh) | 基于可视化编程的vr驾驶考核项目制作与体验系统 | |
Chiu et al. | Helmet-mounted display system of motorcyclist with collision detecting and navigation | |
CN116126142A (zh) | 放置安全装置的提示方法及装置 | |
JP2022117075A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |