CN111488072B - 信息处理装置、信息处理装置的控制方法以及记录介质 - Google Patents

信息处理装置、信息处理装置的控制方法以及记录介质 Download PDF

Info

Publication number
CN111488072B
CN111488072B CN202010076568.7A CN202010076568A CN111488072B CN 111488072 B CN111488072 B CN 111488072B CN 202010076568 A CN202010076568 A CN 202010076568A CN 111488072 B CN111488072 B CN 111488072B
Authority
CN
China
Prior art keywords
unit
display
section
mode
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010076568.7A
Other languages
English (en)
Other versions
CN111488072A (zh
Inventor
冈野惠一
小林伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN111488072A publication Critical patent/CN111488072A/zh
Application granted granted Critical
Publication of CN111488072B publication Critical patent/CN111488072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

信息处理装置、信息处理装置的控制方法以及记录介质,提高使用者对智能手机的操作性。智能手机(300)具有能够连接HMD(100)的I/F部(341)、触摸传感器(332)以及模式切换部(312)。模式切换部(312)根据I/F部(341)是否连接有HMD(100)来切换执行第1模式(MD1)和第2模式(MD2),在所述第1模式(MD1)中,受理触摸传感器(332)检测到的输入作为基于绝对坐标的输入,在所述第2模式(MD2)中,受理触摸传感器(332)检测到的输入作为基于相对坐标的输入。

Description

信息处理装置、信息处理装置的控制方法以及记录介质
技术领域
本发明涉及信息处理装置、信息处理装置的控制方法以及信息处理装置的控制程序。
背景技术
公知有将在智能手机那样的便携终端装置上显示的图像镜像显示在HMD那样的显示装置上(例如,参照专利文献1)。
专利文献1所记载的便携终端装置具有触摸面板和处理器。处理器根据与内容相关联的设定信息,将便携式终端装置的操作模式从使触摸面板显示内容而受理触摸输入的第1模式切换到在触摸面板上不显示内容而受理触摸输入的第2模式。然后,在切换了操作模式的情况下,使内容显示在显示装置的显示器上。
专利文献1:日本特开2015-197694号公报
在专利文献1所记载的结构中,存在使用者的操作性有时不充分这样的课题。
例如,由于使用者一边看着在HMD上镜像显示的图像,一边操作智能手机的触摸面板,因此使用者的操作性有时不充分。
发明内容
解决上述课题的一个方式是一种信息处理装置,其中,该信息处理装置具有:连接部,其能够连接显示装置;位置输入部;以及模式切换部,其能够执行第1模式和第2模式,并根据所述连接部是否连接有所述显示装置来切换执行所述第1模式和所述第2模式,在所述第1模式中,受理所述位置输入部检测到的输入作为基于绝对坐标的输入,在所述第2模式中,受理所述位置输入部检测到的输入作为基于相对坐标的输入。
在上述信息处理装置中,可以采用如下结构,在所述连接部未连接所述显示装置的情况下,所述模式切换部执行所述第1模式,在所述连接部连接有所述显示装置的情况下,所述模式切换部执行所述第2模式。
在上述信息处理装置中,可以采用如下结构,该信息处理装置具有:第1显示部;以及显示控制部,其使得在所述第1显示部上显示图像,所述图像包含指针对象。
在上述信息处理装置中,可以采用如下结构,在所述连接部连接有所述显示装置的情况下,所述显示控制部使得在所述第1显示部上显示所述指针对象,在所述连接部未连接所述显示装置的情况下,所述显示控制部使得不在所述第1显示部上显示所述指针对象。
在上述信息处理装置中,可以采用如下结构,在所述连接部连接有所述显示装置时,所述显示控制部使得在所述第1显示部中的默认的位置、或者在所述第1显示部中所述指针对象为非显示的位置处显示所述指针对象。
在上述信息处理装置中,可以采用如下结构,该信息处理装置具有受理所述指针对象的轨迹的第1受理部,所述显示控制部使得在所述第1显示部上显示所述轨迹。
在上述信息处理装置中,可以采用如下结构,该信息处理装置具有:选择部,其选择与所述轨迹对应的功能;以及执行部,其执行所述选择部选择的功能。
在上述信息处理装置中,可以采用如下结构,该信息处理装置具有受理与所述轨迹对应的字符的输入的第2受理部,所述显示控制部使得在所述第1显示部上显示所述字符。
在上述信息处理装置中,可以采用如下结构,在所述连接部连接有所述显示装置的情况下,与所述连接部未连接所述显示装置的情况相比,所述显示控制部使所述第1显示部的亮度降低。
在上述信息处理装置中,可以采用如下结构,所述显示装置具有第2显示部,所述显示控制部使显示在所述第1显示部上的图像显示在所述显示装置的所述第2显示部上。
解决上述课题的另一方式是一种信息处理装置的控制程序,该信息处理装置具有能够连接显示装置的连接部、位置输入部以及计算机,该信息处理装置的控制程序使所述计算机作为模式切换部发挥功能,该模式切换部能够执行第1模式和第2模式,并根据所述连接部是否连接有所述显示装置来切换执行所述第1模式和所述第2模式,在所述第1模式中,受理所述位置输入部检测到的输入作为基于绝对坐标的输入,在所述第2模式中,受理所述位置输入部检测到的输入作为基于相对坐标的输入。
解决上述课题的又一方式是一种信息处理装置的控制方法,该信息处理装置具有能够连接显示装置的连接部和位置输入部,该信息处理装置的控制方法包含模式切换步骤,在该模式切换步骤中,能够执行第1模式和第2模式,并根据所述连接部是否连接有所述显示装置来切换执行所述第1模式和所述第2模式,在所述第1模式中,受理所述位置输入部检测到的输入作为基于绝对坐标的输入,在所述第2模式中,受理所述位置输入部检测到的输入作为基于相对坐标的输入。
附图说明
图1是示出显示系统的结构的图。
图2是示出图像显示部的光学系统的结构的图。
图3是示出图像显示部的主要部分结构的立体图。
图4是示出构成HMD的各部分的结构的图。
图5是示出HMD的第1控制部和智能手机的结构的图。
图6是示出基于指针对象的操作的一例的画面图。
图7是示出轨迹与功能之间的关系的一例的图表。
图8是示出输入与轨迹对应的字符的情况下的图像的一例的画面图。
图9是示出智能手机的第1控制部的处理的流程图。
图10是示出智能手机的第1控制部的处理的流程图。
标号说明
1:显示系统;10:连接装置;11、11A、11D:连接器;13、14:亮度调整键;15、16:音量调整键;20:影像显示部(第2显示部);21:右保持部;22:右显示部;23:左保持部;24:左显示部;26:右导光板;261:半反射镜;28:左导光板;281:半反射镜;40:连接线缆;46:USB线缆;100:HMD(显示装置);120:第2控制部;121:第2显示控制部;130:非易失性存储部;140:操作部;145:连接部;147:声音处理部;210:右显示部基板;221:OLED单元;230:左显示部基板;241:OLED单元;249:电源部;300:智能手机(信息处理装置);310:第1控制部;311:第1显示控制部;312:模式切换部;313:第1受理部;314:选择部;315:执行部;316:第2受理部;320:非易失性存储部;321:内容数据;331:显示面板(第1显示部);332:触摸传感器(位置输入部);341:I/F部(连接部);345:通信部;CR:字符;DA1:第1坐标数据;DA2:第2坐标数据;FN:功能;MD1:第1模式;MD2:第2模式;PB:指针对象;PT:图像;TR:轨迹;V1、V2:移动量。
具体实施方式
以下,参照附图对实施方式进行说明。
1.显示系统的结构
1-1.显示系统的整体结构
图1是示出显示系统1的概略结构的图。
如图1所示,显示系统1具有HMD(Head Mounted Display:头戴式显示器)100。HMD100是如下装置:具有佩戴于使用者的头部的影像显示部20和连接装置10,并在佩戴于使用者的头部的状态下令使用者通过影像显示部20看到虚像。HMD100对应于“显示装置”的一例。在以下的说明中,使用者是指佩戴并使用HMD 100的用户。
连接装置10在箱形的壳体上具有连接器11A以及连接器11D。在连接器11A上经由连接线缆40而连接有影像显示部20。以下,在不区分连接器11A、11D的情况下,有时记作连接器11。连接装置10的壳体也可以称为外壳或主体。
显示系统1是在HMD 100上连接智能手机300而构成的系统。连接器11D是HMD 100连接智能手机300的接口。即,在本实施方式中,连接器11D连接有智能手机300。智能手机300对应于“信息处理装置”的一例。
另外,智能手机300只不过是信息处理装置的一例。例如,作为信息处理装置,可以将平板型个人计算机、笔记本型个人计算机等与连接装置10连接。
连接器11是连接通信线缆的有线接口,通过该通信线缆,连接装置10与外部的装置连接。连接器11A具有将连接有连接线缆40的端子以及经由连接器11A来发送和接收信号的接口电路。
连接器11A是为了将影像显示部20与连接装置10连接而设置的。连接线缆40具有从连接装置10对影像显示部20进行电源供给、并且供影像显示部20与连接装置10相互发送和接收数据的功能。
连接器11D是能够从智能手机300输入影像数据并对智能手机300输出传感器数据的接口。智能手机300将记录在非易失性存储部中的内容数据再现。连接器11D例如是依据公知的通信接口标准的连接器。
在本实施方式中,作为一例,连接器11D是与影像数据以及各种数据的输入输出对应的接口,经由USB线缆46而与智能手机300连接。
作为连接器11D,例如,可以采用USB(Universal Serial Bus:通用串行总线)-TypeC标准的连接器。与USB-TypeC对应的接口能够实现基于USB3.1标准的数据的传送和20伏特、5安培以内的直流电力的供给。
另外,作为USB-TypeC的替代模式的功能,能够传送HDMI(High DefinitionMultimedia Interface:高清晰度多媒体接口)标准的影像数据、MHL(Mobile High-definition Link:移动高清链接)标准的影像数据等。智能手机300能够经由USB线缆46进行电源供给、数据的发送和接收以及影像或声音的流数据的供给等。USB-TypeC的替代模式作为Alternative模式而被公知。HDMI是注册商标。
在本实施方式中,影像显示部20具有眼镜形状。影像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26以及左导光板28。
影像显示部20对应于“第2显示部”的一例。
右保持部21和左保持部23从前部框架27的两端部向后方延伸,将影像显示部20保持于使用者的头部U。将前部框架27的两端部中的、在佩戴影像显示部20时位于头部U的右侧的端部设为端部ER、将位于左侧的端部设为端部EL。右保持部21从前部框架27的端部ER延伸设置至在影像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23从端部EL延伸设置至在影像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置在前部框架27上。右导光板26在影像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼看到图像。左导光板28在影像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端与左导光板28的一端相互连结的形状,该连结位置在使用者佩戴影像显示部20的佩戴状态下与使用者的眉间对应。
在前部框架27中,也可以在右导光板26与左导光板28的连结位置设置有在影像显示部20的佩戴状态下与使用者的鼻子抵接的鼻托部。在该情况下,能够通过鼻托部、右保持部21以及左保持部23将影像显示部20保持于使用者的头部。另外,也可以在右保持部21以及左保持部23上连结有在影像显示部20的佩戴状态下与使用者的后头部接触的带。在该情况下,能够通过带将影像显示部20保持于使用者的头部U。
右显示部22以及左显示部24分别是将光学单元以及外围电路单元化后的模块。
右显示部22是与基于右导光板26的图像显示相关的单元,设置在右保持部21上,在佩戴状态下位于使用者的右侧头部的附近。左显示部24是与基于左导光板28的图像显示相关的单元,设置在左保持部23上,在佩戴状态下位于使用者的左侧头部的附近。另外,也可以对右显示部22以及左显示部24进行统称而简称为“显示驱动部”。
右导光板26和左导光板28是由光透过性的树脂等形成的光学部,将右显示部22和左显示部24输出的图像光引导至使用者的眼睛。右导光板26和左导光板28例如是棱镜。
由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者的右眼。同样地,由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
在影像显示部20的前部框架27上配置有照度传感器65。照度传感器65接受来自佩戴影像显示部20的使用者的前方的外部光。
照相机61配设在影像显示部20的前部框架27上。照相机61设置在不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,照相机61配置在前部框架27的端部ER侧,但也可以配置在端部EL侧,还可以配置在右导光板26与左导光板28的连结部。
照相机61是具有CCD(Charge Coupled Device:电荷耦合器件)、CMOS(Complementary Metal-Oxide-Semiconductor:互补金属氧化物半导体)等摄像元件和摄像镜头等的数码照相机。本实施方式的照相机61是单眼照相机,但也可以由立体照相机构成。
在前部框架27上配置有LED(Light Emitting Diode:发光二极管)指示器67。LED指示器67在端部ER处配置在照相机61的附近,在照相机61的工作中点亮,告知正在拍摄中。
在前部框架27上设置有距离传感器64。距离传感器64检测距位于预先设定的测量方向上的测量对象物的距离。距离传感器64例如可以是具有LED或激光二极管等光源、以及接受光源发出的光被测量对象物反射的反射光的受光部的光反射式距离传感器。另外,距离传感器64也可以是具有发出超声波的声源、和接收被测量对象物反射的超声波的检测部的超声波式的距离传感器。另外,距离传感器64也可以使用激光测距扫描仪,在该情况下,能够对包含影像显示部20的前方在内的大范围的区域进行测量。
影像显示部20的右显示部22和左显示部24分别与连接装置10连接。在HMD100中,左保持部23连接有连接线缆40,与该连接线缆40连接的布线铺设在影像显示部20内部,右显示部22和左显示部24分别与连接装置10连接。
连接线缆40具有音频连接器36,具有构成立体声头戴式听筒的右耳机32和左耳机34以及麦克风63的头戴式耳机30与音频连接器36连接。右耳机32佩戴在使用者的右耳上,左耳机34佩戴在使用者的左耳上。右耳机32以及左耳机34也可以称为声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号来输出声音。
麦克风63收集声音,并将声音信号输出到连接装置10。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,可以是具有指向性的麦克风,也可以是无指向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16作为由使用者操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16分别由硬件按键构成。这些被操作部配置在连接装置10的主体的表面,例如由使用者的手指操作。
亮度调整键13、14是用于调整由影像显示部20显示的影像的显示亮度的硬件按键。亮度调整键13指示亮度的增大,亮度调整键14指示亮度的降低。音量调节键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示音量的增大,音量调整键16指示音量的降低。
1-2.HMD的图像显示部的光学系统的结构
图2是示出影像显示部20所具有光学系统的结构的主要部分俯视图。为了便于说明,在图2中示出了使用者的左眼LE和右眼RE。
如图2所示,右显示部22和左显示部24构成为左右对称。作为令使用者的右眼RE看到图像的结构,右显示部22具有发出图像光的OLED(Organic Light Emitting Diode:有机发光二极管)单元221。此外,具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,利用矩阵状地配置的像素形成图像。OLED驱动电路225依照第2控制部120的控制,执行OLED面板223具备的发光元件的选择和对发光元件的通电,使OLED面板223的发光元件发光。关于第2控制部120,在后述参照图4进行说明。
OLED驱动电路225通过粘接等被固定于OLED面板223的反面即发光面的反面侧。OLED驱动电路225例如也可以由驱动OLED面板223的半导体器件构成,安装在被固定于OLED面板223的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器217。
另外,OLED面板223也可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。此外,也可以使用除了分别放射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的、引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射,从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,令使用者看到图像。
此外,作为令使用者的左眼LE看到图像的结构,左显示部24具有:OLED单元241,其发出图像光;以及左光学系统252,其具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照第2控制部120的指示,执行OLED面板243具备的发光元件的选择和对发光元件的通电,使OLED面板243的发光元件发光。
OLED驱动电路245通过粘接等被固定于OLED面板243的反面即发光面的反面侧。OLED驱动电路245例如也可以由驱动OLED面板243的半导体器件构成,安装在被固定于OLED面板243的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L被半反射镜281反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,令使用者看到图像。
根据该结构,HMD 100作为透射型显示装置发挥功能。即,被半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到使用者的右眼RE。此外,被半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部进行处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛,对使用者而言,能够透过右导光板26和左导光板28看到外景,并可与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而提取图像的图像提取部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。
图3是示出影像显示部20的主要部分的结构的图。图3是从使用者的头部侧看到的影像显示部20的主要部分立体图。另外,在图3中省略连接线缆40的图示。
图3是影像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE可看到的一侧。换另一说法,在图3中,能够看到右导光板26和左导光板28的反面侧。
在图3中,对使用者的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。或者,如上所述,包含半反射镜261的右导光板26的整体和包含半反射镜281的左导光板28的整体使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而看到外景,在半反射镜261、281的位置处看到矩形的显示图像。
此外,在影像显示部20的使用者侧配置有内侧照相机68。内侧照相机68以分别与使用者的右眼RE和左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。内侧照相机68是分别拍摄使用者的右眼RE和左眼LE的一对照相机。内侧照相机68依照第2控制部120的指示进行拍摄。第2控制部120分析内侧照相机68的拍摄图像数据。例如,第2控制部120根据内侧照相机68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像,确定使用者的视线方向。此外,第2控制部120能够求出使用者的视线方向的变化,也可以检测右眼RE和左眼LE各自的眼球运动。
这里,使用者的视线的移动还能够视作使用者的虚拟视点的移动。
此外,在根据内侧照相机68的拍摄图像检测出右眼RE和左眼LE的视线方向的情况下,第2控制部120能够求出右眼RE和左眼LE的会聚角。会聚角对应于距使用者注视的对象物的距离。即,在使用者立体地看到图像或物体的情况下,右眼RE和左眼LE的会聚角与距所看对象的距离对应地确定。因此,通过检测会聚角,能够求出使用者注视的距离。此外,通过以引导使用者的会聚角的方式显示图像,能够引导立体观察。
1-3.HMD的各部分的结构
图4是示出构成HMD 100的各部分的结构的图。
影像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接线缆40连接的右I/F部211、接收经由右I/F部211从连接装置10输入的数据的接收部213以及EEPROM 215。右I/F部211将接收部213、EEPROM 215、温度传感器217、照相机61、距离传感器64、照度传感器65以及LED指示器67与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231以及接收经由左I/F部231从连接装置10输入的数据的接收部233。另外,在左显示部基板230上安装有6轴传感器235和磁传感器237。
左I/F部231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
I/F是接口的简写。EEPROM是Electrically Erasable Programmable Read-OnlyMemory(电可擦可编程只读存储器)的简写。OLED是Organic Light Emitting Diode(有机发光二极管)的简写。另外,在本实施方式中,有时将接收部213和接收部233分别记载为Rx213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与影像显示部20所具有的OLED单元221、241的发光特性或显示特性相关的数据、与右显示部22或左显示部24所具有的传感器的特性相关的数据等。
具体而言,存储与OLED单元221、241的伽马校正相关的参数、补偿温度传感器217、239的检测值的数据等。这些数据通过HMD 100的出厂时检查而生成,并被写入EEPROM 215。EEPROM 215存储的数据能够由第2控制部120读取。
照相机61根据经由右I/F部211输入的信号执行拍摄,并将拍摄图像数据输出到右I/F部211。照度传感器65接受外部光,输出与受光量或受光强度对应的检测值。LED指示器67根据经由右I/F部211输入的控制信号或驱动电流而点亮。
温度传感器217检测OLED单元221的温度,输出与检测温度对应的电压值或电阻值作为检测值。
距离传感器64执行距离检测,经由右I/F部211将表示检测结果的信号输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、Time OfFlight(飞行时间)式距离传感器以及组合了图像检测和声音检测的距离检测单元等。另外,距离传感器64也可以采用对通过立体照相机或单眼照相机的立体拍摄而得到的图像进行处理来检测距离的结构。
接收部213接收经由右I/F部211从连接装置10传送的显示用的影像数据,并输出到OLED单元221。OLED单元221显示基于连接装置10传送的影像数据的影像。
另外,接收部233接收经由左I/F部231从连接装置10传送的显示用的影像数据,并输出到OLED单元241。OLED单元221、241显示基于连接装置10传送的影像数据的影像。
6轴传感器235是具有3轴加速度传感器和3轴陀螺传感器的运动传感器。6轴传感器235也可以采用将上述传感器模块化后的IMU。磁传感器237例如是3轴的地磁传感器。陀螺传感器也被称为角速度传感器。IMU是Inertial Measurement Unit(惯性测量装置)的简写。
温度传感器239检测OLED单元241的温度,输出与检测温度对应的电压值或电阻值作为检测值。
影像显示部20的各部分通过借助连接线缆40从连接装置10供给的电力而进行动作。
影像显示部20在右显示部22具有电源部229,在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40供给的电力分配并供给到包含右显示部基板210的右显示部22的各部分。同样地,电源部249将连接装置10经由连接线缆40供给的电力分配并供给到包含左显示部基板230的左显示部24的各部分。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、第2控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145以及声音处理部147。
I/F部110具有连接器11D。另外,I/F部110具有与连接器11D连接并执行依据各种通信标准的通信协议的接口电路。
I/F部110例如也可以是安装了连接器11D和接口电路的接口基板。另外,也可以采用如下结构:连接装置10的第2控制部120、传感器控制部122、显示控制部124、电源控制部126安装在未图示的连接装置主基板上。在该情况下,也可以在连接装置主基板上安装I/F部110的连接器11D和接口电路。
另外,I/F部110例如可以具有能够连接外部的存储装置或存储介质的存储卡用接口等,I/F部110也可以由无线通信接口构成。
第2控制部120控制连接装置10的各部分。第2控制部120具有CPU那样的处理器。CPU是Central Processing Unit(中央处理器)的简写。在第2控制部120中,处理器执行控制程序,由此,通过软件与硬件的协作来控制HMD 100的各部分。第2控制部120连接有非易失性存储部130、操作部140、连接部145以及声音处理部147。
传感器控制部122控制照相机61、距离传感器64、照度传感器65、温度传感器217、6轴传感器235、磁传感器237以及温度传感器239。具体而言,传感器控制部122按照第2控制部120的控制进行各传感器的采样周期的设定和初始化,并按照各传感器的采样周期执行对各传感器的通电、控制数据的发送以及检测值的取得等。
传感器控制部122与I/F部110的连接器11D连接,在预先设定的时刻,将与从各传感器取得的检测值相关的数据输出到连接器11D。与连接器11D连接的智能手机300能够取得HMD 100的各传感器的检测值、照相机61的拍摄图像数据。
显示控制部124执行用于通过影像显示部20显示基于输入到I/F部110的图像数据或影像数据的图像的各种处理。在本实施方式中,向连接器11D输入智能手机300输出的影像信号。影像信号是数字影像数据,但也可以是模拟影像信号。
显示控制部124执行例如帧的剪切、分辨率转换、中间帧生成、帧率转换等各种处理。分辨率转换包含所谓的缩放。显示控制部124将与OLED单元221和OLED单元241分别对应的图像数据输出到连接部145。输入到连接部145的图像数据作为影像信号201从连接器11A传送到右I/F部211和左I/F部231。影像信号201是与OLED单元221和OLED单元241分别对应地处理后的数字影像数据。
在本实施方式中,连接器11D由USB-TypeC连接器构成。显示控制部124经由连接器11D接收以USB-TypeC的替代模式传送的影像数据。
传感器控制部122和/或显示控制部124可以通过处理器执行程序而利用软件与硬件的协作来实现。即,传感器控制部122和显示控制部124由处理器构成,通过执行程序来执行上述动作。在该例子中,传感器控制部122和显示控制部124可以通过构成第2控制部120的处理器执行程序来实现。换言之,可以是,通过处理器执行程序,而作为第2控制部120、显示控制部124以及传感器控制部122发挥功能。这里,处理器可以被改称为计算机。
另外,显示控制部124和传感器控制部122也可以由DSP或FPGA等程序化的硬件构成。另外,也可以将传感器控制部122和显示控制部124合并而构成为SoC-FPGA。DSP是Digital Signal Processor(数字信号处理器)的简写,FPGA是Field Programmable GateArray(现场可编程门阵列)的简写,SoC是System-on-a-Chip(片上系统)的简写。
电源控制部126连接到连接器11D。电源控制部126根据从连接器11D供给的电力,进行对连接装置10的各部分和影像显示部20的电源供给。另外,电源控制部126也可以构成为具有未图示的电压转换电路,对电压进行转换并供给到连接装置10和影像显示部20的各部分。电源控制部126也可以由逻辑电路或FPGA等程序化的半导体器件构成。另外,电源控制部126也可以由与传感器控制部122和/或显示控制部124共用的硬件构成。
传感器控制部122、显示控制部124以及电源控制部126可以具有用于进行数据处理的工作存储器,也可以利用第2控制部120的存储器进行处理。
操作部140检测对连接装置10所具有的被操作部的操作,将表示操作内容的数据、或者表示被操作的被操作部的操作信号输出到第2控制部120。
声音处理部147根据从第2控制部120输入的声音数据,生成声音信号,并输出到连接部145。该声音信号从连接部145经由音频连接器36输出到右耳机32和左耳机34。另外,声音处理部147按照第2控制部120的控制,调整声音信号的音量。另外,声音处理部147生成麦克风63收集到的声音的声音数据,并输出到第2控制部120。也可以通过第2控制部120,以与处理影像显示部20具备的传感器的检测值同样的方式,对该声音数据进行处理。
此外,连接装置10也可以是具有未图示的电池、并从该电池向连接装置10和影像显示部20的各部分供给电力的结构。连接装置10具备的电池也可以是可充电的二次电池。
1-4.智能手机的结构
图5是示出HMD 100的第2控制部120和智能手机300的结构的图。
智能手机300具有第1控制部310、非易失性存储部320、显示部330、I/F部341以及通信部345。
第1控制部310具有CPU或微型计算机等处理器,通过该处理器执行控制程序,从而控制智能手机300的各部分。第1控制部310也可以具有非易失性地存储处理器执行的控制程序的ROM、以及构成处理器的工作区的RAM那样的存储器。处理器对应于“计算机”的一例。ROM是Read Only Memory(只读存储器)的简写,RAM是Random Access Memory(随机存取存储器)的简写。存储在第1控制部310的存储器中的控制程序对应于“控制程序”的一例。
非易失性存储部320非易失性地存储由第1控制部310执行的控制程序以及第1控制部310处理的数据。非易失性存储部130例如是HDD等磁记录装置、或者使用了闪存等半导体存储元件的存储装置。HDD是Hard Disk Drive(硬盘)的简写。
非易失性存储部320例如存储包含影像的内容的内容数据321。内容数据321是能够由第1控制部310处理的格式的文件,包含影像数据,也可以包含声音数据。
另外,非易失性存储部320存储作为第1控制部310执行的基本控制程序的操作系统(OS)以及以OS为平台进行动作的应用程序等。另外,非易失性存储部320存储了在执行应用程序时处理的数据或处理结果的数据。OS是Operating System(操作系统)的简写。
显示部330所具有的显示面板331和触摸传感器332与第1控制部310连接。显示面板331根据第1控制部310的控制而显示各种图像。显示面板331例如由LCD(Liquid CrystalDisplay:液晶显示器)构成。显示面板331构成为矩形形状。在本实施方式中,显示面板331为长方形。显示面板331对应于“第1显示部”的一例。
触摸传感器332检测触摸操作,并将表示检测到的操作的数据输出到第1控制部310。触摸传感器332与显示面板331一体地形成。具体而言,触摸传感器332形成在显示面板331的图像显示面上。在本实施方式中,触摸传感器332为长方形。触摸传感器332输出的数据是表示触摸传感器332中的操作位置的坐标数据等。触摸传感器332对应于“位置输入部”的一例。
在本实施方式中,触摸传感器332输出表示绝对坐标的第1坐标数据DA1和表示相对坐标的第2坐标数据DA2。
第1坐标数据DA1表示触摸操作的位置的绝对坐标。例如,沿着触摸传感器332的长边方向设定X轴,沿着触摸传感器332的短边方向设定Y轴。触摸传感器332的长边方向与显示面板331的长边方向一致,触摸传感器332的短边方向与显示面板331的短边方向一致。第1坐标数据DA1由表示触摸操作在X轴方向的位置的X坐标、和表示触摸操作在Y轴方向的位置的Y坐标构成。
第2坐标数据DA2表示触摸操作的移动量的相对坐标。即,第2坐标数据DA2表示从触摸操作的开始点的位置到移动后的触摸操作的位置的移动量。例如,沿着触摸传感器332的长边方向设定X轴,沿着触摸传感器332的短边方向设定Y轴。第2坐标数据DA2由表示触摸操作在X轴方向的位置变化量的X坐标、和表示触摸操作在Y轴方向的位置变化量的Y坐标构成。
I/F部341是与外部的装置连接的接口。I/F部341执行例如依据HDMI接口、USB接口等标准的通信。I/F部341具有连接USB线缆46的连接器、以及处理由连接器传送的信号的接口电路。I/F部341是具有连接器和接口电路的接口基板,与安装有第1控制部310的处理器等的主基板连接。或者,构成I/F部341的连接器和接口电路安装在智能手机300的主基板上。I/F部341对应于“连接部”的一例。
在本实施方式中,I/F部341具有USB接口,通过USB线缆46而与连接器11D连接。第1控制部310例如通过USB线缆46输出影像数据,从连接装置10接收与传感器的输出值相关的数据等。
此外,I/F部341可以是无线通信接口。在这种情况下,I/F部341可以是安装在接口基板或者主基板上的电路,该接口基板安装了包含RF(Radio Frequency:射频)部在内的通信电路。
通信部345是与外部装置之间执行数据通信的通信接口。通信部345可以是能够连接线缆的有线通信接口,也可以是无线通信接口。例如,可以是与Ethernet(注册商标)对应的有线LAN接口、与IEEE802.11标准对应的无线LAN接口。
另外,通信部345例如是通过无线电话线路而与其他智能手机连接的通信接口。
第1控制部310具有第1显示控制部311、模式切换部312、第1受理部313、选择部314、执行部315以及第2受理部316。具体而言,通过第1控制部310所具有的处理器执行控制程序,第1控制部310作为第1显示控制部311、模式切换部312、第1受理部313、选择部314、执行部315以及第2受理部316发挥功能。
第1显示控制部311将内容数据321再现,将与内容数据321所包含的影像数据对应的图像PT显示在显示部330的显示面板331上。
另外,第1显示控制部311根据I/F部341是否连接有HMD 100,降低显示部330的显示面板331的亮度。具体而言,在I/F部341连接有HMD 100的情况下,与I/F部341未连接HMD100的情况相比,第1显示控制部311使显示部330的显示面板331的亮度降低。
例如,在I/F部341未连接HMD 100的情况下,第1显示控制部311使显示部330所显示的图像PT的亮度成为设定的亮度。另外,在I/F部341连接有HMD 100的情况下,第1显示控制部311使显示部330所显示的图像PT的亮度降低为小于设定的亮度。
更具体而言,第1显示控制部311通过在图像PT上重叠一定浓度的图像,降低在显示面板331上显示的图像PT的亮度。在以下的说明中,有时将“一定浓度的图像”记载为“暗图像”。具体而言,“暗图像”是一定浓度的灰色的图像。即,通过在显示面板331所显示的图像PT的上层虚拟地重叠形成有暗图像的层,第1显示控制部311使显示面板331所显示的图像PT的亮度降低。
此外,图像PT包含指针对象PB。具体而言,在I/F部341连接有HMD 100的情况下,第1显示控制部311在显示面板331上显示指针对象PB。此外,在I/F部341未连接HMD 100的情况下,第1显示控制部311不在显示面板331上显示指针对象PB。指针对象PB表示指针的位置。指针对象PB例如是箭头那样的对象,指向箭头的前端。
此外,当I/F部341连接有HMD 100时,第1显示控制部311在位置P1或位置P2处显示指针对象PB。位置P1表示显示面板331中的默认的位置。位置P2表示在显示面板331中指针对象PB成为非显示的位置。
位置P1例如是显示面板331的中央位置。另外,位置P1例如是显示面板331的4个角部中的任意一个角部。另外,位置P1也可以构成为使用者能够设定。
位置P2对应于从I/F部341连接有HMD 100的状态转变到I/F部341未连接HMD100的状态时的指针对象PB的位置。
模式切换部312能够执行第1模式MD1和第2模式MD2,根据I/F部341是否连接有HMD100来切换执行第1模式MD1与第2模式MD2。具体而言,模式切换部312在I/F部341未连接HMD100的情况下,执行第1模式MD1。另外,模式切换部312在I/F部341连接有HMD 100的情况下,执行第2模式MD2。
在第1模式MD1中,受理触摸传感器332检测到的输入作为基于绝对坐标的输入。换言之,在第1模式MD1中,从触摸传感器332受理第1坐标数据DA1。第1坐标数据DA1表示触摸操作的位置的绝对坐标。在第2模式MD2中,受理触摸传感器332检测到的输入作为基于相对坐标的输入。换言之,在第2模式MD2中,从触摸传感器332受理第2坐标数据DA2。第2坐标数据DA2表示触摸操作的移动量的相对坐标。
第1受理部313受理指针对象PB的轨迹TR。第1显示控制部311在显示面板331上显示轨迹TR。
选择部314选择与轨迹TR对应的功能FN。
执行部315执行由选择部314选择的功能。
第2受理部316受理与轨迹TR对应的字符的输入。第1显示控制部311将第2受理部316受理的字符显示在显示面板331上。
参照图6~图8具体说明第1控制部310的处理。
在本实施方式中,智能手机300向连接装置10输出的影像数据是与智能手机300通过显示部330的显示面板331显示的图像对应的影像数据。即,第1显示控制部311使HMD 100的影像显示部20显示由显示面板331显示的图像。在这种情况下,HMD 100的影像显示部20显示与显示在显示面板331上的图像相同的图像,进行所谓的“镜像显示”。
1-5.HMD的第2控制部的结构
HMD 100的第2控制部120具有第2显示控制部121。具体而言,通过第2控制部120所具有的处理器执行控制程序,第2控制部120作为第2显示控制部121发挥功能。
第2显示控制部121按照来自第1显示控制部311的指示,从智能手机300接收图像,使影像显示部20显示接收到的图像。
具体而言,第2显示控制部121根据从智能手机300接收到的图像,生成右图像和左图像。然后,第2显示控制部121使右显示部22显示右图像,使左显示部24显示左图像。
更具体而言,第2显示控制部121经由右I/F部211将右图像传送到OLED单元221,使OLED单元221显示右图像。另外,第2显示控制部121经由左I/F部231将左图像传送到OLED单元241,使OLED单元241显示左图像。
2.使用了具体例的智能手机的第1控制部的处理说明
图6~图8分别是示出第1控制部310的处理的具体例的图。另外,在图6~图8中,对I/F部341连接有HMD 100的情况进行说明。
图6是示出基于指针对象PB的操作的一例的画面图。
在显示面板331上,通过第1显示控制部311显示图标A1、图标A2、图标A3、图标A4、图标A5、图标A6以及指针对象PB。
图标A1~图标A6分别与存储在非易失性存储部320中的内容数据321对应。具体而言,内容数据321包含内容数据MA、内容数据MB、内容数据MC、内容数据MD、内容数据ME以及内容数据MF。图标A1与内容数据MA对应,图标A2与内容数据MB对应,图标A3与内容数据MC对应。同样地,图标A4~图标A6分别与内容数据MD~内容数据MF对应。
由于I/F部341连接有HMD 100,因此通过第1显示控制部311在显示面板331上显示指针对象PB。另外,指针对象PB如虚线的箭头所示那样,通过第1显示控制部311显示在默认的位置P1。位置P1是显示面板331的中央位置。
另外,由于I/F部341连接有HMD 100,因此,模式切换部312执行第2模式MD2。第2模式MD2受理触摸传感器332检测到的输入作为基于相对坐标的输入。
在此,对由使用者在位置PS1开始触摸操作、在位置PS2结束触摸操作的情况进行说明。即,使用者例如在使右手的食指触摸到位置PS1、且使右手的食指触摸到触摸传感器332的状态下,使右手的食指移动到位置PS2。然后,使用者在位置PS2使右手的食指离开触摸传感器332。
模式切换部312检测触摸操作的移动量V1。通过该操作,指针对象PB通过第1显示控制部311而以移动量V2进行移动。即,指针对象PB在显示面板331中从位置P1移动到位置P3。另外,移动量V2的方向和长度与移动量V1的方向和长度相同。
另外,在位置P3,指针对象PB指示图标A5。这样,通过从位置PS1向位置PS2的滑动操作,选择图标A5。其结果,例如,通过第1控制部310执行与图标A5对应的内容数据ME的再现。
在本实施方式中,对图标与内容数据对应的情况进行了说明,但并不限定于此。图标例如也可以与执行功能的程序对应。在这种情况下,通过以指示图标的方式移动指针对象PB,能够执行与图标对应的功能。
另外,在本实施方式中,对在显示面板331上显示图标的情况进行了说明,但并不限定于此。在显示面板331上,除了指针对象PB之外,还可以显示指针对象PB以外的对象。例如,可以在显示面板331上显示按钮对象。在这种情况下,通过以指示按钮对象的方式移动指针对象PB,能够执行与按钮对象对应的功能。
图7是示出轨迹TR与功能FN之间的关系的一例的图表。功能FN包含第1功能FN1、第2功能FN2以及第3功能FN3。第1受理部313受理指针对象PB的轨迹TR。图7所示的轨迹TR与功能FN之间的关系例如存储在非易失性存储部320中。另外,执行第1功能FN1、第2功能FN2以及第3功能FN3的各个功能的程序例如存储在非易失性存储部320中。
如图7所示,圆周状的轨迹TR与第1功能FN1对应。在通过第1受理部313受理的轨迹TR为圆周状的情况下,通过选择部314选择第1功能FN1,通过执行部315执行第1功能FN1。第1功能FN1例如表示暂时停止内容数据321的再现的功能。使用者通过以轨迹TR成为圆周状的方式对触摸传感器332进行触摸操作,能够使智能手机300执行第1功能FN1。
另外,三角形的轨迹TR与第2功能FN2对应。在通过第1受理部313受理的轨迹TR为三角形的情况下,通过选择部314选择第2功能FN2,通过执行部315执行第2功能FN2。第2功能FN2例如表示重新开始内容数据321的再现的功能。使用者通过以轨迹TR成为三角形的方式对触摸传感器332进行触摸操作,能够使智能手机300执行第2功能FN2。
另外,四边形的轨迹TR与第3功能FN3对应。在通过第1受理部313受理的轨迹TR为四边形的情况下,通过选择部314选择第3功能FN3,通过执行部315执行第3功能FN3。第3功能FN3例如表示中止内容数据321的再现的功能。使用者通过以轨迹TR成为四边形的方式对触摸传感器332进行触摸操作,能够使智能手机300执行第3功能FN3。
图8是示出输入与轨迹TR对应的字符CR的情况下的图像的一例的画面图。在显示面板331上,通过第1显示控制部311显示字符串显示区AR1和字符输入区AR2。
在字符串显示区AR1中,通过第1显示控制部311显示“ABC”的字符串TX和光标CS。这里,处于输入了“ABC”的字符串TX、等待第4个字符的输入的状态。
第1受理部313受理指针对象PB的轨迹TR。在此,用虚线表示轨迹TR。另外,在图8中,省略了指针对象PB的记载。
第2受理部316受理与轨迹TR对应的字符CR的输入。在此,作为与轨迹TR对应的字符CR,通过第2受理部316受理大写英文字母“D”。第2受理部316受理的字符CR通过第1显示控制部311显示在字符输入区AR2中。
然后,第2受理部316受理的字符CR通过第1显示控制部311显示在字符串显示区AR1的光标CS的位置,光标CS向右移动1个字符的量。这样,使用者通过以轨迹TR成为字符CR的形状的方式对触摸传感器332进行触摸操作,能够在智能手机300中输入字符CR。
在本实施方式中,对字符CR为大写英文字母的情况进行了说明,但并不限定于此。字符CR例如也可以是小写英文字母。另外,例如,字符CR可以是日语的平假名,也可以是日语的片假名,还可以是日语的汉字。
3.智能手机的第1控制部的处理说明
图9和图10分别是示出智能手机300的第1控制部310的处理的流程图。
首先,如图9所示,在步骤S101中,第1控制部310判定I/F部341是否连接有HMD100。
在第1控制部310判定为I/F部341未连接HMD 100的情况下(步骤S101:否),处理成为待机状态。在第1控制部310判定为I/F部341连接有HMD 100的情况下(步骤S101:是),处理进入步骤S103。
然后,在步骤S103中,第1显示控制部311使显示在显示面板331上的图像PT的亮度降低为低于设定的亮度。
接下来,在步骤S105中,第1显示控制部311在显示面板331的默认位置P1处显示指针对象PB。
接着,在步骤S107中,模式切换部312从第1模式MD1切换到第2模式MD2,执行第2模式MD2。
接着,在步骤S109中,第1控制部310判定是否检测到使用者开始对触摸传感器332进行输入。
在第1控制部310判定为没有检测到使用者开始对触摸传感器332进行输入的情况下(步骤S109:否),处理成为待机状态。在第1控制部310判定为检测到使用者开始对触摸传感器332进行输入的情况下(步骤S109:是),处理进入步骤S111。
然后,在步骤S111中,第1控制部310根据使用者对触摸传感器332的输入而生成第2坐标数据DA2。然后,第1受理部313根据第2坐标数据DA2受理指针对象PB的轨迹TR,第1显示控制部311在显示面板331上显示轨迹TR。
接着,在步骤S113中,第1控制部310判定是否检测到使用者结束输入。
在第1控制部310判定为未检测到使用者结束输入的情况下(步骤S113:否),处理返回到步骤S111。在第1控制部310判定为检测到使用者结束输入的情况下(步骤S113:是),处理进入图10的步骤S115。
然后,如图10所示,在步骤S115中,第1控制部310判定使用者的输入是否是移动指示。“移动指示”表示移动对象的指示。在此,说明对象是指针对象PB的情况。
在第1控制部310判定为使用者的输入是移动指示的情况下(步骤S115:是),处理进入步骤S117。
然后,在步骤S117中,第1控制部310受理目标对象的移动。例如,第1控制部310受理指针对象PB的移动。进而,如参照图6说明的那样,在移动后的指针对象PB指示图标的情况下,第1控制部310执行与该图标对应的功能。然后,处理进入步骤S129。
在本实施方式中,说明了目标对象是指针对象PB的情况,但并不限定于此。目标对象例如可以是图像对象。在这种情况下,第1控制部310受理图像对象的移动。然后,第1显示控制部311在显示面板331中的移动后的位置显示图像对象。
在第1控制部310判定为使用者的输入不是移动指示的情况下(步骤S115:否),处理进入步骤S119。
然后,在步骤S119中,第1控制部310判定使用者的输入是否是字符CR的输入指示。
在第1控制部310判定为使用者的输入是字符CR的输入指示的情况下(步骤S119:是),处理进入步骤S121。
然后,在步骤S121中,第1受理部313受理指针对象PB的轨迹TR。另外,第2受理部316受理与轨迹TR对应的字符CR的输入。然后,第1显示控制部311在显示面板331上显示字符CR。然后,处理进入步骤S129。
在第1控制部310判定为使用者的输入不是字符CR的输入指示的情况下(步骤S119:否),处理进入步骤S123。
然后,在步骤S123中,第1控制部310判定使用者的输入是否是功能的执行指示。
在第1控制部310判定为使用者的输入不是功能的执行指示的情况下(步骤S123:否),处理进入步骤S129。在第1控制部310判定为使用者的输入是功能的执行指示的情况下(步骤S123:是),处理进入步骤S125。
然后,在步骤S125中,第1受理部313受理指针对象PB的轨迹TR,选择部314选择与轨迹TR对应的功能FN。
接着,在步骤S127中,执行部315执行由选择部314选择的功能,之后,处理进入步骤S129。
接着,在步骤S129中,第1控制部310判定HMD 100与I/F部341的连接是否被切断。
在第1控制部310判定为HMD 100与I/F部341的连接未被切断的情况下(步骤S129:否),处理返回到图9的步骤S109。在第1控制部310判定为HMD 100与I/F部341的连接被切断的情况下(步骤S129:是),处理进入步骤S131。
然后,在步骤S131中,模式切换部312从第2模式MD2切换到第1模式MD1,执行第1模式MD1。
接着,在步骤S133中,第1显示控制部311使显示面板331的指针对象PB为非显示。
接着,在步骤S135中,第1显示控制部311将显示在显示面板331上的图像PT的亮度恢复为设定的亮度。然后,处理结束。
另外,图9的步骤S107和图10的步骤S131对应于“模式切换步骤”的一例。
4.本实施方式的效果
如上所述,在本实施方式中,智能手机300具有能够连接HMD 100的I/F部341、触摸传感器332以及模式切换部312。模式切换部312根据I/F部341是否连接有HMD100来切换执行第1模式MD1和第2模式MD2。在第1模式MD1中,受理触摸传感器332检测到的输入作为基于绝对坐标的输入。在第2模式MD2中,受理触摸传感器332检测到的输入作为基于相对坐标的输入。
因此,由于受理触摸传感器332检测到的输入作为基于相对坐标的输入,因此,即使在使用者无法看到智能手机300的显示面板331的情况下,也能够提高使用者对智能手机300的操作性。
另外,本实施方式的显示系统1的控制方法、智能手机300以及智能手机300的控制程序能够得到与上述同样的效果。
另外,模式切换部312在I/F部341未连接HMD 100的情况下,执行第1模式MD1。另外,模式切换部312在I/F部341连接有HMD 100的情况下,执行第2模式MD2。
因此,在I/F部341连接有HMD 100的情况下,模式切换部312执行第2模式MD2,因此,受理触摸传感器332检测到的输入作为基于相对坐标的输入。因此,即使在使用者无法看到智能手机300的显示面板331的情况下,也能够提高使用者对智能手机300的操作性。
另外,智能手机300具有显示面板331和在显示面板331上显示图像PT的第1显示控制部311,图像PT包含指针对象PB。
因此,能够在显示面板331上显示指针对象PB。因此,能够提高使用者对智能手机300的操作性。
此外,在I/F部341连接有HMD 100的情况下,第1显示控制部311在显示面板331上显示指针对象PB。此外,在I/F部341未连接HMD 100的情况下,第1显示控制部311不在显示面板331上显示指针对象PB。
因此,在I/F部341未连接HMD 100的情况下,能够使指针对象PB为非显示。因此,在I/F部341未连接HMD 100的情况下,能够抑制由指针对象PB导致图像PT的可视性降低。
另外,在I/F部341连接有HMD 100时,在位置P1或位置P2显示指针对象PB。位置P1表示显示面板331中的默认的位置。位置P2表示在显示面板331中指针对象PB为非显示的位置。
因此,在I/F部341连接有HMD 100时,能够在适当的位置显示指针对象PB。因此,能够提高使用者对智能手机300的操作性。
另外,第1受理部313受理指针对象PB的轨迹TR。第1显示控制部311在显示面板331上显示轨迹TR。
因此,能够在显示面板331上显示指针对象PB的轨迹TR。因此,能够提高使用者对智能手机300的操作性。
另外,选择部314选择与轨迹TR对应的功能FN。执行部315执行由选择部314选择的功能。
因此,能够选择与轨迹TR对应的功能FN,并执行所选择的功能。因此,能够提高使用者对智能手机300的操作性。
另外,第2受理部316受理与轨迹TR对应的字符的输入。第1显示控制部311将第2受理部316受理的字符显示在显示面板331上。
因此,能够受理与轨迹TR对应的字符的输入,并将受理的字符显示在显示面板331上。因此,能够提高使用者对智能手机300的操作性。
另外,在I/F部341连接有HMD 100的情况下,与I/F部341未连接HMD 100的情况相比,第1显示控制部311使显示面板331的亮度降低。
因此,在智能手机300中能够抑制电池的蓄电量降低。
另外,HMD 100具有影像显示部20,第1显示控制部311使显示在显示面板331上的图像PT显示在HMD 100的影像显示部20上。
因此,能够容易地执行所谓的“镜像显示”。
5.其他实施方式
本发明不限于上述实施方式的结构,能够在不脱离其主旨的范围内以各种方式实施。
例如,在上述实施方式中,“信息处理装置”是智能手机300,但不限于此。“信息处理装置”只要具有能够连接HMD 100的连接部、位置输入部以及控制部即可。例如,“信息处理装置”可以是PDA(Personal Digital Assistant:个人数字助理),也可以是平板型个人计算机,还可以是笔记本型个人计算机。
另外,在上述实施方式中,例示了连接装置10与影像显示部20有线连接的结构,但不限于此,也可以采用影像显示部20与连接装置10无线连接的结构。
另外,也可以将连接装置10所具有的一部分功能设置在影像显示部20上,还可以通过多个装置来实现连接装置10。例如,也可以代替连接装置10,而使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴器件。该情况下的可佩戴器件例如可以是时钟型的装置、戒指型的装置、激光指针、鼠标、空中鼠标、游戏控制器、笔型的器件等。
另外,在上述实施方式中,以影像显示部20与连接装置10分离并经由连接线缆40而连接的结构为例进行了说明。不限于此,连接装置10与影像显示部20也可以一体地构成并被佩戴于使用者的头部。
另外,在上述实施方式中,使用者透过显示部看到外景的结构并不限定于右导光板26和左导光板28使外部光透过的结构。例如也能够应用于在无法看到外景的状态下显示图像的显示装置。具体而言,能够应用于显示照相机61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等的显示装置。作为这种显示装置,能够包含无法看到外景的所谓的封闭型的显示装置。例如,如果构成为通过影像显示部20显示将由照相机61拍摄的外景的图像与显示图像合成后的合成图像,则即使影像显示部20不使外部光透过,也能够以使用者能够看到外景和图像的方式进行显示。当然还能够应用于这样的所谓视频透视型的显示装置。
另外,例如也可以代替影像显示部20而采用例如像帽子那样佩戴的图像显示部等其他方式的图像显示部,只要具有与使用者的左眼LE对应地显示图像的显示部和与使用者的右眼RE对应地显示图像的显示部即可。另外,显示装置例如也可以构成为搭载在汽车或飞机等车辆上的HMD。并且,例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下,能够将对相对于使用者身体的位置进行定位的部分和相对于该部分进行定位的部分作为佩戴部。
此外,作为将图像光引导至使用者的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分上通过半反射镜261、281形成虚像的结构。不限于此,也可以构成为在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域显示图像。在该情况下,在使图像的显示位置发生变化的动作中,可以包含将图像缩小的处理。
并且,光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,可以使用衍射光栅、棱镜、全息显示部。
另外,图4、图5等所示的各功能块中的至少一部分可以构成为通过硬件来实现,也可以构成为通过硬件和软件的协作来实现,并不限定于图示那样配置独立的硬件资源的结构。
另外,第1控制部310执行的控制程序也可以存储在非易失性存储部320或第1控制部310内的其他存储部中。另外,也可以构成为经由通信部345等取得并执行存储在外部装置中的控制程序。另外,形成于第1控制部310的结构中的第1受理部313和/或第2受理部316也可以形成为用户界面(UI)。
另外,在连接装置10上形成的结构也可以重复地形成在影像显示部20上。例如,可以构成为将与连接装置10的处理器同样的处理器配置在影像显示部20中,也可以构成为连接装置10所具有的处理器和影像显示部20的处理器分别执行分开的功能。
另外,为了容易理解智能手机300的第1控制部310的处理,而根据主要的处理内容对图9和图10所示的流程图的处理单位进行了分割。实施方式不受图9和图10示出的流程图所示的处理单位的分割方法或名称限制。另外,第1控制部310的处理也可以根据处理内容而分割成更多的处理单位,还可以以一个处理单位包含更多处理的方式进行分割。另外,上述流程图的处理顺序也不限于图示的例子。
另外,智能手机300的控制方法能够通过使智能手机300所具有的计算机执行与智能手机300的控制方法对应的控制程序来实现。另外,该控制程序也可以预先记录在以计算机可读取的方式进行记录的记录介质中。作为记录介质,能够使用磁记录介质、光学记录介质或者半导体存储器件。具体而言,可以列举软盘、CD-ROM(Compact Disk Read OnlyMemory:光盘只读存储器)、DVD、Blu-ray(注册商标)Disc、磁光盘、闪存、卡型记录介质等可移动型或者固定式的记录介质。另外,记录介质也可以是作为图像显示装置所具有的内部存储装置的RAM、ROM、HDD等非易失性存储装置。另外,也可以将与智能手机300的控制方法对应的控制程序预先存储在服务器装置等中,并从服务器装置向智能手机300下载控制程序,由此,实现智能手机300的控制方法。

Claims (9)

1.一种信息处理装置,其中,该信息处理装置具有:
连接部,其能够连接显示装置;
位置输入部;
模式切换部,其能够执行第1模式和第2模式,并根据所述连接部是否连接有所述显示装置来切换执行所述第1模式和所述第2模式,在所述第1模式中,受理所述位置输入部检测到的输入作为基于绝对坐标的输入,在所述第2模式中,受理所述位置输入部检测到的输入作为基于相对坐标的输入;
第1显示部;
显示控制部,其使得在所述第1显示部上显示包含指针对象的图像;以及
第1受理部,其受理所述指针对象的轨迹,
所述显示控制部使得在所述第1显示部上显示所述轨迹,
所述信息处理装置还具有:
选择部,其选择与所述轨迹对应的功能;以及
执行部,其执行所述选择部选择的功能。
2.根据权利要求1所述的信息处理装置,其中,
在所述连接部未连接所述显示装置的情况下,所述模式切换部执行所述第1模式,在所述连接部连接有所述显示装置的情况下,所述模式切换部执行所述第2模式。
3.根据权利要求1所述的信息处理装置,其中,
在所述连接部连接有所述显示装置的情况下,所述显示控制部使得在所述第1显示部上显示所述指针对象,在所述连接部未连接所述显示装置的情况下,所述显示控制部使得不在所述第1显示部上显示所述指针对象。
4.根据权利要求3所述的信息处理装置,其中,
在所述连接部连接有所述显示装置时,所述显示控制部使得在所述第1显示部中的默认的位置、或者在所述第1显示部中所述指针对象为非显示的位置处显示所述指针对象。
5.根据权利要求1所述的信息处理装置,其中,
该信息处理装置具有受理与所述轨迹对应的字符的输入的第2受理部,
所述显示控制部使得在所述第1显示部上显示所述字符。
6.根据权利要求1所述的信息处理装置,其中,
在所述连接部连接有所述显示装置的情况下,与所述连接部未连接所述显示装置的情况相比,所述显示控制部使所述第1显示部的亮度降低。
7.根据权利要求1所述的信息处理装置,其中,
所述显示装置具有第2显示部,
所述显示控制部使显示在所述第1显示部上的图像显示在所述显示装置的所述第2显示部上。
8.一种记录介质,其中,该记录介质记录有计算机可执行的信息处理装置的控制程序,该信息处理装置具有能够连接显示装置的连接部、位置输入部、第1显示部以及计算机,
该信息处理装置的控制程序使所述计算机作为模式切换部、显示控制部和第1受理部发挥功能,
所述模式切换部能够执行第1模式和第2模式,并根据所述连接部是否连接有所述显示装置来切换执行所述第1模式和所述第2模式,在所述第1模式中,受理所述位置输入部检测到的输入作为基于绝对坐标的输入,在所述第2模式中,受理所述位置输入部检测到的输入作为基于相对坐标的输入,
所述显示控制部使得在所述第1显示部上显示包含指针对象的图像,
所述第1受理部受理所述指针对象的轨迹,
所述显示控制部使得在所述第1显示部上显示所述轨迹,
所述信息处理装置的控制程序还使所述计算机作为选择部和执行部发挥功能,
所述选择部选择与所述轨迹对应的功能,
所述执行部执行所述选择部选择的功能。
9.一种信息处理装置的控制方法,其中,该信息处理装置具有能够连接显示装置的连接部、位置输入部以及第1显示部,
该信息处理装置的控制方法包含:
模式切换步骤,在该模式切换步骤中,能够执行第1模式和第2模式,并根据所述连接部是否连接有所述显示装置来切换执行所述第1模式和所述第2模式,在所述第1模式中,受理所述位置输入部检测到的输入作为基于绝对坐标的输入,在所述第2模式中,受理所述位置输入部检测到的输入作为基于相对坐标的输入;
显示控制步骤,在该显示控制步骤中,使得在所述第1显示部上显示包含指针对象的图像;以及
第1受理步骤,在该第1受理步骤中,受理所述指针对象的轨迹,
在所述显示控制步骤中,使得在所述第1显示部上显示所述轨迹,
所述信息处理装置的控制方法还包含:
选择步骤,在该选择步骤中,选择与所述轨迹对应的功能;以及
执行步骤,在该执行步骤中,执行在所述选择步骤中选择的功能。
CN202010076568.7A 2019-01-25 2020-01-23 信息处理装置、信息处理装置的控制方法以及记录介质 Active CN111488072B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019011543A JP2020119391A (ja) 2019-01-25 2019-01-25 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
JP2019-011543 2019-01-25

Publications (2)

Publication Number Publication Date
CN111488072A CN111488072A (zh) 2020-08-04
CN111488072B true CN111488072B (zh) 2023-10-17

Family

ID=71733619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010076568.7A Active CN111488072B (zh) 2019-01-25 2020-01-23 信息处理装置、信息处理装置的控制方法以及记录介质

Country Status (3)

Country Link
US (1) US11086441B2 (zh)
JP (1) JP2020119391A (zh)
CN (1) CN111488072B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449270B (zh) * 2020-11-24 2023-10-03 Oppo广东移动通信有限公司 一种音频输出方法及数据线缆、终端、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221961A (zh) * 2010-04-16 2011-10-19 索尼公司 信息处理装置、信息处理方法及其程序
CN105094314A (zh) * 2014-05-19 2015-11-25 三星电子株式会社 用于利用显示器来处理输入的方法和装置
CN105389001A (zh) * 2014-09-02 2016-03-09 三星电子株式会社 用于提供虚拟现实服务的方法及装置
CN105431764A (zh) * 2013-07-25 2016-03-23 Lg电子株式会社 头戴式显示器及其控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015197694A (ja) 2014-03-31 2015-11-09 シャープ株式会社 携帯端末装置およびその制御方法
TWI588734B (zh) * 2015-05-26 2017-06-21 仁寶電腦工業股份有限公司 電子裝置及其操作方法
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221961A (zh) * 2010-04-16 2011-10-19 索尼公司 信息处理装置、信息处理方法及其程序
CN105431764A (zh) * 2013-07-25 2016-03-23 Lg电子株式会社 头戴式显示器及其控制方法
CN105094314A (zh) * 2014-05-19 2015-11-25 三星电子株式会社 用于利用显示器来处理输入的方法和装置
CN105389001A (zh) * 2014-09-02 2016-03-09 三星电子株式会社 用于提供虚拟现实服务的方法及装置

Also Published As

Publication number Publication date
CN111488072A (zh) 2020-08-04
JP2020119391A (ja) 2020-08-06
US20200241685A1 (en) 2020-07-30
US11086441B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US10657722B2 (en) Transmissive display device, display control method, and computer program
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
JP7243193B2 (ja) 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP7238456B2 (ja) 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
US10567730B2 (en) Display device and control method therefor
US20210200284A1 (en) Image display device, power supply system, and power supply method for image display device
CN111488072B (zh) 信息处理装置、信息处理装置的控制方法以及记录介质
US11353704B2 (en) Head mounted device (HMD) coupled to smartphone executing personal authentication of a user
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
CN112558300B (zh) 显示系统、记录介质、信息处理装置的控制方法和显示装置
CN112526749B (zh) 显示装置、记录介质、显示装置的控制方法和显示系统
CN111556310B (zh) 显示系统、记录介质以及信息处理装置的控制方法
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6631299B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant