CN1922651A - 穿戴型信息提示装置 - Google Patents

穿戴型信息提示装置 Download PDF

Info

Publication number
CN1922651A
CN1922651A CNA2005800055376A CN200580005537A CN1922651A CN 1922651 A CN1922651 A CN 1922651A CN A2005800055376 A CNA2005800055376 A CN A2005800055376A CN 200580005537 A CN200580005537 A CN 200580005537A CN 1922651 A CN1922651 A CN 1922651A
Authority
CN
China
Prior art keywords
fitness
audiovisual
user
situation
prompting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800055376A
Other languages
English (en)
Inventor
山本格也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1922651A publication Critical patent/CN1922651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的是提供一种穿戴型信息提示装置，照顾用户的安全性，同时兼顾行动和信息视听。本发明的穿戴型信息提示装置包括：状况取得部(101)，取得用户的状况；视听适应度存储部(106)，存储视听适应度；视听适应度确定部(105)，确定对应于用户的状况的视听适应度；提示方式确定部(103)，根据视听适应度确定向用户提示信息的方式和提示部(104)，通过所确定的提示方式来向用户提示信息。

Description

穿戴型信息提示装置
技术领域
本发明涉及在穿戴在用户身体的一部分上的状态下向用户提示信息的装置。
背景技术
近年来，防护镜(goggle)和头盔这种形状的被称作HMD(HeadMounted Display：头部安装显示器)的信息提示装置正在普及。若将HMD穿戴在头部，则在左右眼睛的近前方一个接一个地提示图像。通过使左右图像稍微不同，可以表现立体感。向用户提示的信息不限于静止图像。还可向用户提示如电视节目这样的影像和文本等。
HMD可以大致分为两个类型。一种是遮断外界光的入射而仅向用户提示虚拟的图像的封闭型。另一种是向用户提示基于外界光的入射的自然图像，同时提供虚拟图像的透射型。
根据透射型的HMD，可以边行动(步行等)边看信息。但是，有时因外界的场景和向用户提示的信息(下面称作“提示信息”)的相互作用，很难看到提示信息。
例如，在提示信息的颜色和与该提示信息重叠的部分的外界的颜色类似的情况下，很难看到提示信息。因此，提出了根据外界的颜色来控制提示信息的颜色的HMD(例如专利文献1)。在该现有的HMD中，通过监视外界的摄像机来检测外界的颜色。并且，判断提示信息的颜色和与该提示信息重叠的部分的外界的颜色是否类似，在两者类似的情况下，改变提示信息的颜色。这样一来，由于可以用不与外界的颜色类似的颜色向用户提示信息，所以不会发生提示信息因与外界的关系而很难看到的问题。
但是，若基于该现有的HMD，则在视听电视节目的同时伴随步行等行动的情况下，存在对视听电视节目着迷而妨碍了行动的问题。因此，近年来，还提出了仅在静止状态等确保用户安全时提示信息的HMD(例如专利文献2)。
专利文献1：(日本)特开平9-101477号公报
专利文献2：(日本)特许(专利)第3492942号公报
但是，根据专利文献2公开的HMD，由于仅在确保用户安全时提示信息，所以有不能兼顾行动和信息视听的问题。即，有时即便不是静止状态，进行某种程度的信息视听也不会损害用户安全，这种情况下，期望适当提示信息。
发明内容
本发明解决上述问题而作出，其目的是提供一种穿戴型信息提示装置，考虑用户的安全性的同时，可以兼顾行动和信息视听。
为了实现上述目的，本发明的穿戴型信息提示装置，在穿戴在用户身体一部分上的状态下向用户提示信息，其特征在于，包括：状况取得单元，取得用户的状况；视听适应度存储单元，存储表示适应于用户视听信息的程度的视听适应度；视听适应度确定单元，从由所述视听适应度存储单元存储的视听适应度之中，确定与由所述状况取得单元取得的用户的状况对应的视听适应度；提示方式确定单元，根据由所述视听适应度确定单元确定的视听适应度，确定向用户提示信息的方式；提示单元，通过由所述提示方式确定单元确定的提示方式来向用户提示信息。由此，由于可以按对应于视听适应度的提示方式来向用户提示信息，所以可以考虑用户的安全性，同时兼顾行动和信息视听。
这里，所述穿戴型信息提示装置还具有变化判断单元，判断所述视听适应度的变化；所述提示方式确定单元根据所述视听适应度的变化来确定提示方式也可以。由此，由于判断视听适应度的变化，所以根据时刻变化的用户的状况来确定合适的提示方式。
另外，所述提示方式确定单元也可以在所述视听适应度降低的情况下，确定使由所述提示单元提示的信息的大小减少的提示方式，在所述视听适应度上升的情况下，确定使由所述提示单元提示的信息的大小增加的提示方式。由此，适当调整提示部中的相对可提示面积的实际提示面积，所以可以根据需要对提示信息或外景加以注意。
所述提示方式确定单元也可以在所述视听适应度降低的情况下，确定使由所述提示单元提示的信息的位置离开中央的提示方式，在所述视听适应度上升的情况下，确定使由所述提示单元提示的信息的位置靠近中央的提示方式。由此，控制对于用户的意识容易集中的提示部的中央部分的提示，所以可以根据需要对提示信息或外景加以注意。
所述提示方式确定单元也可以在所述视听适应度降低的情况下，确定使由所述提示单元提示的信息的显示透明度上升的提示方式，在所述视听适应度上升的情况下，确定使由所述提示单元提示的信息的显示透明度降低的提示方式。由此，显示透明度越提高，越注意与提示信息重叠的外景。
所述提示方式确定单元也可以在所述视听适应度降低的情况下，确定中断由所述提示单元提示的信息的再现的提示方式，在所述视听适应度上升的情况下，确定重新开始由所述提示单元提示的信息的再现的提示方式。这样，由于适当中断再现，所以对外景加以注意。另外，由于适当重新开始再现，所以在注意外景期间不会产生不能跟踪提示信息的内容和为进行跟踪而倒回提示信息的问题。
所述视听适应度确定单元在用户的视野影像的变化量增加的情况下，使所述视听适应度降低，在用户的视野影像的变化量减小的情况下，使所述视听适应度上升也可以。由此，在用户目前的状况大副变化时，对外景加以注意。
所述视听适应度确定单元也可以在用户的身体动作的变化量增加的情况下，使所述视听适应度降低，在用户的身体动作的变化量减小的情况下，使所述视听适应度上升。由此，在用户开始行动时和终止行动时，可以对外景加以注意。
所述视听适应度确定单元也可以在用户的行动范围变化的情况下，使所述视听适应度降低。由此，在公共汽车的上车和下车等用户的行动范围变化时，对外景加以注意。
本发明不仅可作为这种穿戴型信息提示装置实现，还可作为以这种穿戴型信息提示装置具有的特征的单元为步骤的穿戴型信息提示方式实现，或使计算机执行这些步骤的程序实现。并且，当然这种程序可经CD-ROM等存储介质和互联网等传送介质来分配。
另外，构成图(图3)的各功能块典型地由作为集成电路的LSI实现。这些可以分别单芯片化，也可单芯片化为包含一部分或全部。这里，虽然为LSI，但是根据集成度的不同，也可以称作IC、系统LSI、超级LSI、ULSI。
另外，集成电路化的方法并不限于LSI，也可由专用电路或通用处理器来实现。在LSI制造后，可利用可编程的FPGA(FieldProgrammable Gate Array)和可重新构成LSI内部的电路单元的连接和设置的重新配置·处理器。
进一步，若因半导体技术的进步或派生的其他技术，替换LSI的集成电路的技术出现，则可使用该技术来进行功能块的集成化。有生物技术的适应等可能。
发明的效果如下：
从以上的说明中可以看出，根据本发明的穿戴型信息提示装置，可以在考虑用户的安全性的同时，兼顾行动和信息视听。而且，根据时刻变化的用户的状况来确定适当的提示方式。
附图说明
图1是表示用户穿戴了本发明的HMD的状态的图；
图2是表示用户穿戴了本发明的另一HMD的状态的图；
图3是本发明的穿戴型信息提示装置的结构图；
图4是表示用户的状况和视听适应度的对应表的图；
图5是本发明的穿戴型信息提示装置的动作图；
图6是本发明的穿戴型信息提示装置的动作图；
图7是本发明的穿戴型信息提示装置的动作图；
图8是本发明的穿戴型信息提示装置的动作图；
图9是本发明的穿戴型信息提示装置的动作图；
图10A和图10B是表示用户的视野影像的变化的图；
图11A和图11B是表示用户的视野影像的变化的图；
图12是本发明的穿戴型信息提示装置的动作图；
图13是本发明的穿戴型信息提示装置的动作图；
图14A是表示对于步行中的用户的提示例的图，图14B是表示对于公共汽车内的用户的提示例子的图。
具体实施方式
下面参考附图来说明本发明的实施方式。
(实施方式1)
图1是表示用户穿戴本发明的HMD(Head Mounted Display)的状态的图。该HMD是防护镜和头盔这种形状的穿戴型信息提示装置，包括进行向用户提示信息用的各种控制的计算机11、LCD(LiquidCrystal Display：液晶显示器)等显示装置12、用户的眼前配置的光学元件(提示屏)13、声音引导用的耳机14、用于将该HMD穿戴在用户1的头部上的穿戴部件15、和用于从互联网等接收提示信息的接收机16。
光学元件13的一个面是凹状的非球面，其上涂敷了半反射膜，反射在显示装置12上显示的信息而形成虚像。另外，光学元件13的另一个面是凸状的非球面，由于可观察外界，所以用户可以看到与外界重叠而在显示装置12上显示的信息。
图2是表示用户穿戴了本发明的另一HMD的状态的图。该HMD代替图1所示的接收机16，具有预先存储了提示信息的存储部18和将存储部18与计算机11相连的线缆17。存储部18例如可以由个人计算机实现，另外，该个人计算机也可连接到LAN(Local AreaNetwork)和互联网等上。
图3是本发明的穿戴型信息提示装置的结构图。该穿戴型信息提示装置是在穿戴在用户身体一部分上的状态下向用户提示信息的装置，功能上具有状况取得部101、视听适应度存储部106、视听适应度确定部105、变化判断部102、提示方式确定部103和提示部104。
状况取得部101是取得用户的状况的摄像机、GPS(GlobalPositioning System)、加速度传感器、倾斜传感器、磁传感器、电子标签传感器等。用户的状况包含用户的视野影像、用户的身体动作、用户的预定行动、用户的当前位置。
视听适应度存储部106存储视听适应度。所谓视听适应度是表示用户适应视听提示信息的程度的信息。这里，用百分比来表示视听适应度，其值越高，用户越适应视听提示信息。
视听适应度确定部105确定视听适应度。例如，如图4所示，假定视听适应度存储部106存储着用户的状况和视听适应度的对应表。这时，在通过状况取得部101取得用户是在步行中的信息时，确定视听适应度为10％。视听适应度的确定方法并不限于此，也可采用其他确定方法，后面详细说明。
变化判断部102判断视听适应度的变化。例如，在视听适应度从10％变化到50％的情况下，判断视听适应度上升。相反，在视听适应度从50％变化到10％的情况下，判断视听适应度降低。
提示方式确定部103根据变化判断部102的判断结果，确定向用户提示信息的方式。该提示方式包含提示信息的显示大小、显示位置、显示透明度和再现状态的改变方式。
提示部104根据通过提示方式确定部103确定的提示方式来向用户提示信息。该提示信息包含通过广播和通信取得的电视节目等带声音的运动图像、从互联网上的服务器和自己家的本地服务器取得的文本、静止图像、运动图像和信号等。
根据该结构，由于以对应于视听适应度的提示方式来向用户提示信息，所以可以边考虑用户的安全性，边兼顾行动和信息视听。另外，由于判断了视听适应度的变化，所以可根据时刻变化的用户的状况来确定适当的提示方式。
另外，状况取得部101也可经网络取得用户的状况。例如，也可从互联网上的服务器取得用户的预定行动。
另外，视听适应度确定部105除了确定视听适应度之外，还可使用用户的状况之外的信息。例如，可使用过去的状况的历史、他人的状况、事先准备的适应判断表等。
另外，提示方式确定部103除了判断提示方式之外，还可使用视听适应度之外的信息。例如，可使用用户的状况、过去的提示方式的历史、他人的提示方式和事先准备的提示方式确定表等。
另外，提示部104的具体形态有各种，并不特别限定。例如，可将头部安装型显示器、脸部安装型显示器、眼镜型显示器、透射型显示器、网膜投影型显示器、便携电话和便携电视机、移动终端的信息提示部等用作提示部104。
另外，图3中的各部分可以在一台计算机上，也可不在一台计算机上。例如，状况取得部101和提示部104可以是不同的机器，提示方式确定部103可在互联网上的服务器上。另外，各部分可以在多个计算机上分散。另外，可存在多个图3中的各部分。例如，提示部104可以是两个。在各用户之间共用图3的各部分。
另外，这里示例了HMD，但是本发明的穿戴型信息提示装置穿戴的位置并不限于头部。即，只要在穿戴在用户身体一部分上的状态下向用户提示信息的装置，就可适用本发明。
图5是本发明的穿戴型信息提示装置的动作图。这里，假设上下班途中的用户穿戴透射型HMD来视听电视节目的场面，说明根据其状况改变提示部104中的电视节目的显示大小的动作。
状况取得部101取得用户的状况(S201)。
视听适应度确定部105根据由状况取得部101取得的用户的状况来确定视听适应度(S202)。
变化判断部102根据通过视听适应度确定部105确定的视听适应度来判断视听适应度的变化(S203)。
提示方式确定部103在视听适应度降低的情况下，确定使显示大小减少的提示方式(S204)。相反，在视听适应度上升的情况下，确定使显示大小增加的提示方式(S205)。
提示部104通过由提示方式确定部103确定的提示方式来提示电视节目(S206)。
通过重复以上的动作(S201～S206)，可以根据时刻变化的用户的状况来确定适当的提示方式。即，由于适当调整提示部104的相对于可显示面积的实际显示面积，所以可以根据需要对提示信息或外景加以注意。
另外，使显示大小减小的动作还包含使显示大小为0来显示信息的动作。
可随着显示大小的改变，动画显示其改变的过程。
图6是本发明的穿戴型信息提示装置的动作图。这里，说明改变提示部104中的电视节目的显示位置的动作。
状况取得部101取得用户的状况(S301)。
视听适应度确定部105根据通过状况取得部101取得的用户的状况来确定视听适应度(S302)。
变化判断部102根据通过视听适应度确定部105确定的视听适应度来判断视听适应度的变化(S303)。
提示方式确定部103在视听适应度降低的情况下，确定使显示位置离开中央的提示方式(S304)。相反，在视听适应度上升的情况下，确定使显示位置靠近中央的提示方式(S305)。
提示部104根据通过提示方式确定部103确定的提示方式来提示电视节目(S306)。
通过重复以上的动作(S301～S306)，可以根据时刻变化的用户的状况来确定适当的提示方式。即，由于控制对于用户的意识容易集中的提示部104的中央部分的提示，所以可以根据需要对提示信息或外景加以注意。
另外，使显示位置离开中央的动作还包含使显示位置离开中央而不显示信息的动作。
所述“显示位置的中央”可以是提示部104的信息提示区域的中央，也可以是用户的视野的中央，也可以是与移动中的用户的移动方向相对应的区域。
另外，也可随着显示位置的改变，来动画显示其改变的过程。
图7是本发明的穿戴型信息提示装置的动作图。这里，说明改变提示部104中的电视节目的显示透明度的动作。
状况取得部101取得用户的状况(S401)。
视听适应度确定部105根据通过状况取得部101取得的用户的状况来确定视听适应度(S402)。
变化判断部102根据通过视听适应度确定部105确定的视听适应度来判断视听适应度的变化(S403)。
提示方式确定部103在视听适应度降低的情况下，使显示透明度上升，而确定更透明的提示方式(S404)。相反，在视听适应度上升的情况下，使显示透明度降低，而确定更不透明的提示方式(S405)。
提示部104通过由提示方式确定部103确定的提示方式来提示电视节目(S406)。
通过重复上述的动作(S401～S406)，可以根据时刻变化的用户的状况来确定适当的提示方式。即，越使显示透明度上升，越注意在与提示信息重叠的外景上。
另外，使显示透明度变化的范围可以是提示信息的全部，也可以是一部分。显示透明度可以因提示信息的部分而不同，根据提示信息的部分使显示透明度变化的方法也可以不同。
另外，使显示透明度上升的动作还包含将显示透明度设为100％而不显示信息的动作。
图8是本发明的穿戴型信息提示装置的动作图。这里，说明改变提示部104中的电视节目的再现状态的动作。
状况取得部101取得用户的状况(S501)。
视听适应度确定部105根据通过状况取得部101取得的用户的状况，来确定视听适应度(S502)。
变化判断部102根据通过视听适应度确定部105确定的视听适应度来判断视听适应度的变化(S503)。
提示方式确定部103在视听适应度降低的情况下，确定中断提示信息的再现的提示方式(S504)。相反，提示方式确定部103在视听适应度上升的情况下，确定重新开始提示信息的再现的提示方式(S505)。
提示部104通过由提示方式确定部103确定的提示方式来提示电视节目(S506)。
通过重复以上的动作(S501～S506)，可以根据时刻变化的用户的状况来确定适当的提示方式。即，由于适当中断再现，所以对外景加以注意。另外，由于适当重新开始再现，所以不会产生在对外景加以注意的期间不能跟踪提示信息的内容的问题和为了进行跟踪而必须倒回提示信息的问题。
另外，中断再现的动作包含完全中断再现的动作、减慢再现速度的动作、降低运动图像再现时的帧率的动作和仅再现主要的位置的摘要(digest)再现动作。
如上所述，本发明中采用各种提示方式。
但是，在前述的说明中，如图4所示，假定视听适应度存储部106存储了用户的状况和视听适应度的对应表，本发明并不限于此。即，视听适应度存储部106中以任意的形式来存储视听适应度就可以了，其形态并不进行特别限定。下面，说明本发明中采用的视听适应度的确定方法。
图9是本发明的穿戴型信息提示装置的动作图。这里，说明根据用户的视野影像的变化量(后述)使视听适应度变化的动作。
状况取得部101取得用户的视野影像来作为用户的状况(S601)。用户的视野影像可通过HMD中具有的摄像机等取得。
视听适应度确定部105判断由状况取得部101取得的用户的视野影像的变化量(S602)。并且，在用户的视野影像的变化量增加的情况下，确定使视听适应度降低(S603)。相反，在用户的视野影像的变化量减少的情况下，确定使视听适应度上升(S604)。
提示方式确定部103根据通过视听适应度确定部105确定的视听适应度来确定提示方式(S605)。该提示方式的确定方法并不进行特别限定。即，可以根据所述的对应表(参考图4)来确定，或者，也可根据视听适应度的变化(参考图5～图8)来确定。
提示部104通过由提示方式确定部103确定的提示方式来提示电视节目(S606)。
通过重复以上的动作(S601～S606)，可以根据时刻变化的用户的状况来确定适当的提示方式。即，在用户目前的状况大副变化时，对外景加以注意。
这里，说明用户的视野影像的变化量。
并不特别限定算出用户的视野影像的变化量的方法，但是例如，也可采用着眼于用户的视野影像中的物体的移动量的方法。
图10A和图10B是表示用户的视野影像的变化的图。这里，是表示在从时刻t1到时刻t2的期间飞机移动的情况。这时，与图10A所示的物体的移动量(飞机的移动量)相比，图10B所示的物体的移动量(飞机的移动量)大。
因此，视听适应度确定部105判断物体的移动量的移动量增减，并根据其判断结果来确定视听适应度(S603、S604)。最先，为了判断物体的移动量的增减，需要基准值。该基准值并不进行特别限定，但是例如可以采用从时刻t0到时刻t1的物体的移动量。另外，所谓时刻t0是指比时刻t1提前一个单位的时刻。
算出用户的视野影像的变化量的方法并不限于此。作为另一方法，可以采用着眼于用户的视野影像中有变化的区域(下面称作“变化区域”)的面积的方法。
图11A和图11B是表示用户的视野影像的变化的图。这时，与图11A所示的变化区域的面积(飞机部分的面积)相比，图11B所示的变化区域的面积(空白部分的面积)大。
因此，视听适应度确定部105判断变化区域的面积的增减，并根据该判断结果来确定视听适应度(S603、S604)。另外，为了判断变化区域的面积的增减，而需要基准值。在作为基准值可采用从时刻t0到时刻1的变化区域的面积方面与上述相同。
图12是本发明的穿戴型信息提示装置的动作图。这里，说明根据用户的身体动作的变化量来使视听适应度变化的动作。
状况取得部101取得用户的身体动作来作为用户的状况(S801)。用户的身体动作可通过HMD中具有的各种传感器等来取得。
视听适应度确定部105判断通过状况取得部101取得的用户的身体动作的变化量(S802)。并且，在用户的身体动作的变化量增加的情况下，确定(决定)使视听适应度降低(S803)。相反，在用户的身体动作的变化量减少的情况下，确定使视听适应度上升(S804)。
提示方式确定部103通过根据视听适应度确定部105确定的视听适应度来确定提示方式(S805)。该提示方式的确定方法并不进行特别限定。
提示部104根据通过提示方式确定部103确定的提示方式来提示电视节目(S806)。
通过重复以上的动作(S801～S806)，可根据时刻变化的用户的状况来确定适当的提示方式。即，在用户开始行动时和终止时，可以对外景加以注意。
另外，身体动作包含步行和行走的速度和方向、速度变化、头的方向和动作、眼睛和视线的动作和方向、手足和手指的运动及其变化、地理位置及其变化、脉搏、呼吸、体温和汗、声音、姿势、就座和步行等行动方式。
图13是本发明的穿戴型信息提示装置的动作图。这里，说明根据用户的行动范围的变化来使视听适应度变化的动作。
状况取得部101取得用户的预定行动和用户的当前位置来作为用户的状况(S901)。用户的预定行动可以从互联网上的服务器等取得，用户的当前位置可以通过HMD具有的GPS等来取得。
视听适应度确定部105根据通过状况取得部101取得的用户的预定行动和用户的当前位置来判断用户的行动范围是否变化(S902)。并且，在用户的行动范围变化的情况下，确定使视听适应度降低(S903)。在用户的行动范围不变化的情况下，不进行特别的处理。所谓“用户的行动范围”是指公共汽车内、屋内、屋外等设想用户的状况没有大副变化的范围。
提示方式确定部103根据由视听适应度确定部105确定的视听适应度来确定提示方式(S905)。该提示方式的确定方法并不进行特别限定。
提示部104通过由提示方式确定部103确定的提示方式来提示电视节目(S906)。
通过重复以上的动作(S901～S906)，可以根据时刻变化的用户的状况来确定适当的提示方式。即，在公共汽车的上车和下车等用户的行动范围变化时，对外景加以注意。
另外，预定行动也可包含步行中、乘车中或换乘中等移动阶段，进一步包含表示阶段开始、阶段终止、转角、检票口、人行横道、过街天桥和商店等中间地点的对象。
图14A是表示对于步行中的用户的提示例的图，图14B是表示对于公共汽车内的用户的提示例的图。这里，说明组合前述的提示方式的情况。
用户在步行中的情况下，如图14A所示，重叠在外景上电视画面在左下很小地半透明显示。另一方面，用户在公共汽车内的情况下，如图14B所示，重叠在外景上使电视画面在中央很大地不透明显示。
即，与公共汽车内比较，步行中视野影像的变化量增加，另外，身体行动的变化量也增加了，所以视听适应度减小了。结果，使电视画面的显示大小减少，使显示位置离开中央，使显示透明度上升，而提示电视节目。
另外，从视听适应度确定部105确定视听适应度到提示方式确定部103确定提示方式的时间，可以是即时的，也可间隔时间。另外，从提示方式确定部103确定提示方式到提示部104提示信息的时间，可以是即时的，也可间隔时间。
本发明中的“增加”或“上升”还包含增加量或增加程度是0，即不改变增加量或增加程度的情况。同样，“减小”或“降低”还包含减少量或降低程度是0，即，不改变减少量或降低程度的情况。
另外，本发明中的提示方式可以断续改变。例如，在使显示大小减小时，也可在暂时中止显示后，以比之前小的大小来重新显示，也可在瞬间使显示大小增加后使显示大小减小。另外，也可在视听适应度变化的情况下暂时中断显示，并在一定时间经过后，或视听适应度的变化稳定后重新开始显示。
产业上的可用性
本发明的穿戴型信息提示装置还可应用于考虑用户的安全性的同时，需要兼顾行动和信息视听的头部安装型显示器、脸部安装型显示器、眼镜型显示器等。

Claims (11)

1、一种穿戴型信息提示装置，在穿戴在用户身体一部分上的状态下向用户提示信息，其特征在于包括：
状况取得单元，取得用户的状况；
视听适应度存储单元，存储表示适应于用户视听信息的程度的视听适应度；
视听适应度确定单元，从由所述视听适应度存储单元存储的视听适应度之中，确定与由所述状况取得单元取得的用户的状况对应的视听适应度；
提示方式确定单元，根据由所述视听适应度确定单元确定的视听适应度，确定向用户提示信息的方式；以及
提示单元，通过由所述提示方式确定单元确定的提示方式来向用户提示信息。
2、根据权利要求1所述的穿戴型信息提示装置，其特征在于：
所述穿戴型信息提示装置还具有变化判断单元，判断所述视听适应度的变化；
所述提示方式确定单元根据所述视听适应度的变化来确定提示方式。
3、根据权利要求2所述的穿戴型信息提示装置，其特征在于：
所述提示方式确定单元在所述视听适应度降低的情况下，确定使由所述提示单元提示的信息的大小减小的提示方式，在所述视听适应度上升的情况下，确定使由所述提示单元提示的信息的大小增加的提示方式。
4、根据权利要求2所述的穿戴型信息提示装置，其特征在于：
所述提示方式确定单元在所述视听适应度降低的情况下，确定使由所述提示单元提示的信息的位置离开中央的提示方式，在所述视听适应度上升的情况下，确定使由所述提示单元提示的信息的位置靠近中央的提示方式。
5、根据权利要求2所述的穿戴型信息提示装置，其特征在于：
所述提示方式确定单元在所述视听适应度降低的情况下，确定使由所述提示单元提示的信息的显示透明度上升的提示方式，在所述视听适应度上升的情况下，确定使由所述提示单元提示的信息的显示透明度降低的提示方式。
6、根据权利要求2所述的穿戴型信息提示装置，其特征在于：
所述提示方式确定单元在所述视听适应度降低的情况下，确定中断由所述提示单元提示的信息的再现的提示方式，在所述视听适应度上升的情况下，确定重新开始由所述提示单元提示的信息的再现的提示方式。
7、根据权利要求1所述的穿戴型信息提示装置，其特征在于：
所述视听适应度确定单元在用户的视野影像的变化量增加的情况下，使所述视听适应度降低，在用户的视野影像的变化量减小的情况下，使所述视听适应度上升。
8、根据权利要求1所述的穿戴型信息提示装置，其特征在于：
所述视听适应度确定单元在用户的身体动作的变化量增加的情况下，使所述视听适应度降低，在用户的身体动作的变化量减小的情况下，使所述视听适应度上升。
9、根据权利要求1所述的穿戴型信息提示装置，其特征在于：
所述视听适应度确定单元在用户的行动范围变化的情况下，使所述视听适应度降低。
10、一种信息提示方法，向用户提示信息，其特征在于包括：
状况取得步骤，取得用户的状况；
视听适应度确定步骤，根据在所述状况取得步骤中取得的用户的状况，来确定表示适应于用户视听信息的程度的视听适应度；
提示方式确定步骤，根据由在所述视听适应度确定步骤中确定的视听适应度，确定向用户提示信息的方式；以及
提示步骤，通过在所述提示方式确定步骤中确定的提示方式来向用户提示信息。
11、一种程序，用于向用户提示信息，其特征在于，使计算机执行以下步骤：
状况取得步骤，取得用户的状况；
视听适应度确定步骤，根据在所述状况取得步骤中取得的用户的状况，来确定表示适应于用户视听信息的程度的视听适应度；
提示方式确定步骤，根据由在所述视听适应度确定步骤中确定的视听适应度，确定向用户提示信息的方式；以及
提示步骤，通过在所述提示方式确定步骤中确定的提示方式来向用户提示信息。
CNA2005800055376A 2004-06-10 2005-06-07 穿戴型信息提示装置 Pending CN1922651A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP172135/2004 2004-06-10
JP2004172135 2004-06-10

Publications (1)

Publication Number Publication Date
CN1922651A true CN1922651A (zh) 2007-02-28

Family

ID=35503303

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800055376A Pending CN1922651A (zh) 2004-06-10 2005-06-07 穿戴型信息提示装置

Country Status (4)

Country Link
US (1) US20090040233A1 (zh)
JP (1) JPWO2005122128A1 (zh)
CN (1) CN1922651A (zh)
WO (1) WO2005122128A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387378A (zh) * 2010-09-01 2012-03-21 承景科技股份有限公司 视讯显示调整方法及视讯显示调整装置
CN103635849A (zh) * 2011-06-23 2014-03-12 微软公司 用于头戴式显示器的总视野分类
CN104380237A (zh) * 2012-06-19 2015-02-25 高通股份有限公司 用于头戴式显示器的反应性用户接口
CN104423584A (zh) * 2013-09-02 2015-03-18 Lg电子株式会社 可佩戴的装置及其输出内容的方法
CN104509108A (zh) * 2012-08-06 2015-04-08 索尼公司 图像显示设备和图像显示方法
CN104581128A (zh) * 2014-12-29 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示装置及在该装置中显示外部图像信息的方法
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN105700686A (zh) * 2016-02-19 2016-06-22 联想(北京)有限公司 一种控制方法及电子设备
CN105765489A (zh) * 2013-12-26 2016-07-13 英特尔公司 用于检测可穿戴无线设备上的传感器输入的技术
CN106030692A (zh) * 2014-02-20 2016-10-12 索尼公司 显示控制装置、显示控制方法及计算机程序
CN103763472B (zh) * 2009-02-19 2017-03-01 奥林巴斯株式会社 照相机、佩戴型图像显示装置、摄影系统以及摄影方法
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
CN107111366A (zh) * 2014-12-22 2017-08-29 埃西勒国际通用光学公司 用于使感觉输出装置的感觉输出模式与使用者适配的方法
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4268191B2 (ja) * 2004-12-14 2009-05-27 パナソニック株式会社 情報提示装置、情報提示方法、プログラム、及び記録媒体
JP5145669B2 (ja) * 2006-08-21 2013-02-20 株式会社ニコン 携帯信号処理装置及びウエアラブルディスプレイ
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
JP2013025220A (ja) * 2011-07-25 2013-02-04 Nec Corp 安全確保システム、装置、方法及びプログラム
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
FR2989790B1 (fr) * 2012-04-23 2015-04-03 Inst Nat Rech Inf Automat Dispositif de visualisation adapte a fournir un champ visuel etendu.
US20160054565A1 (en) * 2013-03-29 2016-02-25 Sony Corporation Information processing device, presentation state control method, and program
US9753285B2 (en) 2013-03-29 2017-09-05 Sony Corporation Information processing device, notification state control method, and program
CN106199963B (zh) * 2014-09-01 2019-09-27 精工爱普生株式会社 显示装置及其控制方法以及计算机程序
JP2016057814A (ja) * 2014-09-09 2016-04-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
JP5904246B2 (ja) * 2014-09-24 2016-04-13 ソニー株式会社 頭部装着型表示装置、表示方法
JP6399692B2 (ja) * 2014-10-17 2018-10-03 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
US20160170206A1 (en) * 2014-12-12 2016-06-16 Lenovo (Singapore) Pte. Ltd. Glass opacity shift based on determined characteristics
US10545714B2 (en) 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
US20170230640A1 (en) * 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external display
JP2019197565A (ja) * 2019-07-03 2019-11-14 株式会社東芝 ウェアラブル端末、システム及び方法
JP2022038495A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877366B2 (ja) * 1997-01-20 2007-02-07 本田技研工業株式会社 車両用ヘッドマウントディスプレイ装置
US6825875B1 (en) * 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device
US6934461B1 (en) * 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
JP2000284214A (ja) * 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP3492942B2 (ja) * 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
US7822424B2 (en) * 2003-02-24 2010-10-26 Invisitrack, Inc. Method and system for rangefinding using RFID and virtual triangulation
US20060034481A1 (en) * 2003-11-03 2006-02-16 Farhad Barzegar Systems, methods, and devices for processing audio signals
US20050174245A1 (en) * 2004-02-11 2005-08-11 Delaney Thomas J. System for monitoring water within a bathtub
US7668328B2 (en) * 2004-04-20 2010-02-23 Starkey Laboratories, Inc. Adjusting and display tool and potentiometer

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763472B (zh) * 2009-02-19 2017-03-01 奥林巴斯株式会社 照相机、佩戴型图像显示装置、摄影系统以及摄影方法
CN102387378B (zh) * 2010-09-01 2014-05-14 承景科技股份有限公司 视讯显示调整方法及视讯显示调整装置
CN102387378A (zh) * 2010-09-01 2012-03-21 承景科技股份有限公司 视讯显示调整方法及视讯显示调整装置
CN103635849A (zh) * 2011-06-23 2014-03-12 微软公司 用于头戴式显示器的总视野分类
US9245501B2 (en) 2011-06-23 2016-01-26 Microsoft Technology Licensing, Llc Total field of view classification
CN104380237A (zh) * 2012-06-19 2015-02-25 高通股份有限公司 用于头戴式显示器的反应性用户接口
CN104380237B (zh) * 2012-06-19 2019-03-01 高通股份有限公司 用于头戴式显示器的反应性用户接口
CN104509108A (zh) * 2012-08-06 2015-04-08 索尼公司 图像显示设备和图像显示方法
CN104423584A (zh) * 2013-09-02 2015-03-18 Lg电子株式会社 可佩戴的装置及其输出内容的方法
CN104423584B (zh) * 2013-09-02 2017-12-15 Lg电子株式会社 可佩戴的装置及其输出内容的方法
US9952433B2 (en) 2013-09-02 2018-04-24 Lg Electronics Inc. Wearable device and method of outputting content thereof
CN105765489B (zh) * 2013-12-26 2019-12-10 英特尔公司 用于检测可穿戴无线设备上的传感器输入的技术
CN105765489A (zh) * 2013-12-26 2016-07-13 英特尔公司 用于检测可穿戴无线设备上的传感器输入的技术
US11145188B2 (en) 2013-12-26 2021-10-12 Intel Corporation Techniques for detecting sensor inputs on a wearable wireless device
US11574536B2 (en) 2013-12-26 2023-02-07 Intel Corporation Techniques for detecting sensor inputs on a wearable wireless device
CN106030692A (zh) * 2014-02-20 2016-10-12 索尼公司 显示控制装置、显示控制方法及计算机程序
CN106030692B (zh) * 2014-02-20 2019-11-15 索尼公司 显示控制装置、显示控制方法及计算机程序
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
CN106575156B (zh) * 2014-07-25 2019-05-14 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN107111366A (zh) * 2014-12-22 2017-08-29 埃西勒国际通用光学公司 用于使感觉输出装置的感觉输出模式与使用者适配的方法
CN107111366B (zh) * 2014-12-22 2020-10-30 依视路国际公司 用于使感觉输出装置的感觉输出模式与使用者适配的方法
CN104581128A (zh) * 2014-12-29 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示装置及在该装置中显示外部图像信息的方法
CN105700686A (zh) * 2016-02-19 2016-06-22 联想(北京)有限公司 一种控制方法及电子设备
CN105700686B (zh) * 2016-02-19 2020-04-24 联想(北京)有限公司 一种控制方法及电子设备

Also Published As

Publication number Publication date
US20090040233A1 (en) 2009-02-12
JPWO2005122128A1 (ja) 2008-04-10
WO2005122128A1 (ja) 2005-12-22

Similar Documents

Publication Publication Date Title
CN1922651A (zh) 穿戴型信息提示装置
US10520782B2 (en) Display devices, systems and methods capable of single-sided, dual-sided, and transparent mixed reality applications
CN107637062B (zh) 移动计算设备及其执行的方法和光源模块
US9952433B2 (en) Wearable device and method of outputting content thereof
CN101098491B (zh) 显示装置及其控制方法
CN106133645B (zh) 使用第二屏幕作为私用跟踪抬头显示器
EP2498174B1 (en) Mobile terminal and 3D object control method thereof
US9686466B1 (en) Systems and methods for environment content sharing
JP2008033891A (ja) 表示装置及びその制御方法
US20130016033A1 (en) Providing electronic communications in a physical world
US20130307762A1 (en) Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
US9600077B2 (en) Image display device and method for controlling same
CN111903137B (zh) 基于用户的姿势混合音频
US20220197480A1 (en) Information processing apparatus and non-transitory computer readable medium
US20180359463A1 (en) Information processing device, information processing method, and program
CN115413334A (zh) 用于扩展现实系统的多设备连续性
US11388282B2 (en) Method and apparatus for controlling video
CN113821337A (zh) 基于参与度分数改变与媒体对象相关联的资源利用率
KR101786515B1 (ko) 헤드 마운티드 디스플레이 및 이의 제어방법
KR20160026628A (ko) 디스플레이 디바이스에서의 잔상 제거 방법
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
JP5343304B2 (ja) ウェアラブルディスプレイ
KR20170046947A (ko) 이동 단말기 및 제어 방법
KR20170030351A (ko) 이동 단말기 및 그 제어방법
US20240103701A1 (en) Methods for interacting with user interfaces based on attention

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication