CN104423046A - 图像处理装置及具有其的头部安装型显示装置 - Google Patents

图像处理装置及具有其的头部安装型显示装置 Download PDF

Info

Publication number
CN104423046A
CN104423046A CN201410437585.3A CN201410437585A CN104423046A CN 104423046 A CN104423046 A CN 104423046A CN 201410437585 A CN201410437585 A CN 201410437585A CN 104423046 A CN104423046 A CN 104423046A
Authority
CN
China
Prior art keywords
user
hand
image
image processing
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410437585.3A
Other languages
English (en)
Other versions
CN104423046B (zh
Inventor
齐藤均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104423046A publication Critical patent/CN104423046A/zh
Application granted granted Critical
Publication of CN104423046B publication Critical patent/CN104423046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

本发明涉及图像处理装置及具有其的头部安装型显示装置。在能应用扩展现实感(AR)的头戴式显示器和/或图像处理装置中，提高用户的手的识别准确度。头戴式显示器(100)在对进入相机(61)的拍摄区域(CR)的用户的手(Yh)进行识别时，预先存储拍摄得到的手(Yh)的轮廓形状。在此基础上，接受相机(61)具备的每个像素的拍摄数据的输入，进行以拍摄数据表示的颜色的相邻像素间的差值计算，对该计算差值在预定的阈值以内的同色系统的拍摄数据的排列进行分组化，对轮廓进行捕捉。接下来，对捕捉到的轮廓与存储完毕的手(Yh)的轮廓形状进行对比，实现进入拍摄区域(CR)的用户的手(Yh)的识别。

Description

图像处理装置及具有其的头部安装型显示装置
技术领域
本发明涉及图像处理装置及具有其的头部安装型显示装置。
背景技术
已知在现实环境中利用计算机而附加提示信息的称为扩展现实感(AR，Augmented Reality)的技术。如此的扩展现实感的实现方法除了既应用于被称为头戴式显示器(Head Mounted Display)的头部安装型显示装置以外(例如，专利文献1)，也应用于在头戴式显示器以外的现有的显示器对图像进行显示的图像处理装置(例如，非专利文献1等)。专利文献1的头戴式显示器使通过扩展现实感得到的假想面板被观看为虚像，使用户的手的位置和/或移动与假想面板相关联。因此，用户的手的识别技术不可欠缺，如此的手识别除了非专利文献1之外，在非专利文献2也提及。
专利文献1：日本特开2010—146481号公报
非专利文献1：Handy AR:Markerless Inspection of AugmentedReality Objects Using Fingertip Tracking
非专利文献2：The international Journal of Virtual Reality,2009,8(2):7-12 Robust Hand Tracking Using a Simple Color ClassificationTechnique
在所述的非专利文献中，在对以相机进行了拍摄的用户的手进行识别时，预先将手的颜色规定为肤色的模型色，提取匹配于该规定的模型色的颜色的区域，将该提取的区域形状作为用户的手。因而，通过增加规定为用户的手的颜色的肤色的模型色，或者通过使匹配的判断值具有某程度的幅度，能够某种程度地确保用户的手的识别准确度。但是，用户的手的拍摄状况并非一成不变，例如，在野外由于其各个时期的天气和/或日光的照射状况的变化、反射光或者影子的映入等，用户的手的周边的照度大多会突变。在如此的情况下，在与模型色的匹配方面会产生不一致，导致用户的手的识别准确度会下降。如果是室内，则因照明条件会产生同样的情况。并且，用户的手的颜色相应于人种本来就不同，相应于各人就多种多样，所以要使成为用户的手的识别的基准的模型色一致于不可识别的用户的手的颜色，必需每次重新进行规定，缺乏便利性。而且，即使重新规定了模型色，因照度突变也能引起识别准确度的降低。因此，在能应用扩展现实感(AR)的头戴式显示器和/或图像处理装置中，要求提高用户的手的识别准确度。此外，也期望关于用户的手的识别的通用性的提高和/或其成本降低等。
发明内容
本发明用于解决所述的问题的至少一部分而作出，可以作为以下的方式而实现。
(1)根据本发明的一个方式，提供图像处理装置。该图像处理装置对进入对用户的正面进行拍摄的相机的拍摄区域的所述用户的手进行识别，具备差值计算部、捕捉部、存储部和识别部，其中，所述差值计算部接受包括所述相机具备的多个数据的拍摄图像的输入，对该拍摄图像中的所述数据的差值进行计算，在所述拍摄区域的至少一部分区域中执行该数据的差值计算；所述捕捉部将该差值计算部计算出的所述差值为预定的阈值以内的区域的形状作为识别对象形状进行捕捉；所述存储部预先存储有作为该捕捉到的识别对象形状的对比形状的手的轮廓形状；所述识别部将所述捕捉部捕捉到的识别对象形状与所述存储部存储的所述轮廓形状相对比，并基于其对比结果，将所述捕捉到的识别对象形状识别为进入所述拍摄区域的所述用户的手。
在所述方式的图像处理装置中，在对用户的手进行识别时，在将对用户的手进行了拍摄所得的拍摄图像中的数据的差值为预定的阈值以内的区域的形状捕捉为识别对象形状的基础上，将该捕捉到的识别对象形状与存储完毕的手的轮廓形状相对比，并基于其对比结果对用户的手进行识别。因而，根据所述方式的图像处理装置，因为不必对成为用户的手的识别的基准的模型色按手的颜色的每种进行规定，所以无损对用户的手进行识别时的便利性。并且，因为在拍摄图像中的颜色的差值表现为拍摄图像中的数据的差值，在成为差值计算对象的数据中，即使用户的手的周边的照度突变，如此的照度突变也会基本等量地造成影响，所以拍摄图像中的数据的差值不那么受用户的手的周边的照度的突变的影响。因而，根据所述方式的图像处理装置，能够对因照度突变引起的识别准确度的降低进行抑制，能够谋求识别准确度的提高。并且，因为捕捉到的识别对象形状所对比的手的轮廓形状只要是在拍摄区域中预想用户因某种目的而采用的手的轮廓形状即可，所以不必某种程度地限制预先存储的手的轮廓形状，不必相应于人种和/或各个用户而设定。从这点也是，根据所述方式的图像处理装置，除了无损对用户的手进行识别时的便利性之外，也可以提高用户的手的识别的通用性和/或降低成本。
(2)在所述方式的图像处理装置中，也可以为：所述差值计算部将所述拍摄图像的所述差值计算为构成所述拍摄图像的相邻像素间的像素值的差值；所述捕捉部将所述相邻像素间的像素值的差值为预定的阈值以内的区域的形状捕捉为所述识别对象形状。如此一来，在对用户的手进行识别时，在将对用户的手进行了拍摄的相邻像素间的像素值的差值为预定的阈值以内的区域的形状捕捉为识别对象形状的基础上，将该捕捉到的识别对象形状与存储完毕的手的轮廓形状相对比，并基于其对比结果对用户的手进行识别。因而，根据所述方式的图像处理装置，因为不必将成为用户的手的识别的基准的模型色按手的颜色进行规定，所以无损对用户的手进行识别时的便利性。并且，因为相邻像素间的颜色的差值表现为相邻像素间的像素值的差值，对该像素值的差值进行计算时的各自的像素即使用户的手的周边的照度突变也会基本等量地受其影响，所以如所述地，能够进一步可靠地对因照度突变引起的识别准确度的降低进行抑制，能够谋求识别准确度的提高。并且，因为如所述地不必某种程度地限制预先存储的手的轮廓形状，不必相应于人种和/或各个用户而设定，所以除了无损对用户的手进行识别时的便利性之外，也可以提高用户的手的识别的通用性和/或降低成本。
(3)在所述方式的图像处理装置中，所述差值计算部能够以按对所述拍摄区域预先进行了划分的每个划分区域所确定的执行顺序，执行在所述划分区域中的所述相邻像素之间的颜色的差值计算。如此一来，存在以下的优点。通常，因为用户使得惯用手侧的手进入从用户看到的相机的拍摄区域，所以如果惯用右手则会从拍摄区域的右方侧或从拍摄区域的下方侧、如果惯用左手则会从拍摄区域的左方侧或从拍摄区域的下方侧，使手进入。因而，根据该方式的图像处理装置，通过将按每个划分区域确定的执行顺序对应于手向拍摄区域的进入工作，能够对用户的手迅速地进行识别。
(4)在所述方式的图像处理装置中，能够为：所述划分区域划分为所述拍摄区域的左端区域、右端区域、下端区域和剩余的区域，所述差值计算部使所述左端区域、所述右端区域和所述下端区域中的任一区域最先执行所述差值计算。如此一来，能够对用户的手更加迅速地进行识别。
(5)在所述任一方式的图像处理装置中，能够为：所述差值计算部将对构成所述拍摄图像的像素数据进行色变换而得到的亮度的所述相邻像素间的差值计算为所述相邻像素间的像素值的差值。对图像数据进行色变换而得到的亮度在色变换的过程中与受到所拍摄的用户的手的周边的照度的影响的辉度分离。因而，根据该方式的图像处理装置，能够对伴随于照度突变的识别准确度的降低以高的有效性进行抑制，能够谋求识别准确度的进一步提高。
(6)根据本发明的其他的方式，提供头部安装型显示装置。该头部安装型显示装置为用户可以重叠于外景而观看虚像的头部安装型显示装置，具备扩展现实处理部、所述的任一方式的图像处理装置和所述相机，其中，所述扩展现实处理部生成用于对所述虚像进行显示的图像数据，并通过该生成的所述图像数据，使得所述虚像显示于用户的视野地使所述虚像被观看；所述相机能对用户的手进行拍摄。而且，图像处理装置的所述扩展现实处理部能够为：使所述虚像在对应于所述拍摄区域的显示区域被观看；并且若所述图像处理装置的所述识别部对进入所述拍摄区域的所述用户的手进行识别，则生成用于对加入有对应于该所识别的所述用户的手的至少一部分部位的手部位对应图像的所述虚像进行显示的所述图像数据，对在所述虚像的显示区域中所述手部位对应图像占据的位置相应于在所述拍摄区域中所述一部分部位占据的位置进行更新。根据该方式的头部安装型显示装置，因为在以其具有的图像处理装置对用户的手进行了识别的基础上，使虚像包括手部位对应图像而被用户观看，所以能够使用户的手与虚像中的手部位对应图像的对应被用户识别。而且，因为用户通过使自身的手移动，能够在虚像中观看追随于手进行移动的手部位对应图像，所以也可以将用户的手应用于某种指令工作，便利性提高。
(7)在所述方式的头部安装型显示装置中，能够为：所述扩展现实处理部以下述方式生成所述图像数据，该方式为：使得包括所述手部位对应图像的所述虚像透射进入所述相机的拍摄区域的所述用户的手而显示。根据该方式的头部安装型显示装置，因为使用户的手重叠于虚像地由用户识别，所以能够提高相对于用户的手的工作的手部位对应图像的识别。
(8)在所述任一方式的头部安装型显示装置中，能够为：具备对用户的头部的移动进行检测的头部举动检测传感器；所述图像处理装置的所述差值计算部在所述头部举动检测传感器检测到的头部的移动被消除的状态下，接受所述相机具备的每个像素的拍摄数据的输入。如此一来，因为不会被用户的头部的移动所左右而能够正确地捕捉相邻像素之间的颜色的差值为预定的阈值以内的识别对象形状，所以用户的手的识别精度提高。
所述的本发明的各方式具有的多个构成要件并非全部必须，用于解决所述的问题的一部分或全部，或者用于达到记载于本说明书的效果的一部分或全部，关于所述多个构成要件的一部分构成要件，可以适当地进行其的变更、删除、与新的构成要件的替换、限定内容的部分删除。并且，用于解决所述的问题的一部分或全部，或者用于达到记载于本说明书的效果的一部分或全部，也可以使包括于所述的本发明的一个方式的技术特征的一部分或全部与包括于所述的本发明的其他的方式的技术特征的一部分或全部相组合，来作为本发明的独立的一个方式。
例如，虽然本发明的一个方式为具备存储部、差值计算部和识别部的图像处理装置，例如能够作为头部安装型显示装置而实现，但是在头部安装型显示装置以外的其他的装置中也可以实现。并且，本发明可以在各种方式下实现，例如，能够以图像处理装置及头部安装型显示装置的控制方法、头部安装型显示系统、用于实现这些方法、装置或系统的功能的计算机程序、记录有该计算机程序的记录介质等的方式而实现。
附图说明
图1是表示本发明的一个实施方式中的头部安装型显示装置100(头戴式显示器100)的简要构成的说明图。
图2是功能性地表示头戴式显示器100的构成的框图。
图3是表示通过右显示驱动部22中的图像光生成部射出图像光的状况的说明图。
图4是表示通过以AR处理部142执行的扩展现实处理被使用者识别的虚像之一例的说明图。
图5是对以包括图像处理部160和/或AR处理部142等的CPU140执行的手识别处理的概要进行说明的说明图。
图6是表示手识别处理的步骤的流程图。
图7是对拍摄数据的输入的状况进行说明的说明图。
图8是示意性地表示拍摄区域CR的一部分部位的相邻像素之间的差值计算的状况的说明图。
图9是简要地表示在拍摄区域CR的全域中进行差值计算与其分组化的结果的说明图。
图10是表示在存储部120的手轮廓形状存储部122存储完毕的手轮廓的简要情况的说明图。
图11是简要性地表示将对应于所识别的用户的手Yh的指尖的指示物P加入于虚像VI的状况的说明图。
图12是简要性地表示以其他的实施方式的头戴式显示器100进行的手识别处理的状况的说明图。
图13是表示变形例中的头戴式显示器的外观的构成的说明图。
图14是表示对用户的手进行识别的图像处理装置的简要情况的说明图。
符号说明
10…控制部(控制器)
12…点亮部
14…触摸垫
16…十字键
18…电源开关
20…图像显示部
20a、20b…图像显示部
21…右保持部
22…右显示驱动部
23…左保持部
24…左显示驱动部
26…右光学像显示部
26a、26b…右光学像显示部
28…左光学像显示部
28a、28b…左光学像显示部
30…耳机插塞
32…右耳机
34…左耳机
40…连接部
42…右软线
44…左软线
46…连接构件
48…主体软线
51…发送部
52…发送部
53…接收部
61…相机
100…头戴式显示器(头部安装型显示装置)
110…输入信息取得部
120…存储部
122…手轮廓形状存储部
130…电源
132…无线通信部
140…CPU
142…AR处理部(扩展现实处理部)
160…图像处理部
170…声音处理部
180…接口
190…显示控制部
201…右背光源控制部
202…左背光源控制部
221…右背光源
222…左背光源
251…右投影光学系统
252…左投影光学系统
261…右导光板
262…左导光板
PCLK…时钟信号
VSync…垂直同步信号
HSync…水平同步信号
Data…图像数据
Data1…右眼用图像数据
Data2…左眼用图像数据
CR…拍摄区域
CR11～CR22…分割区域
CRD…下端区域
CRL…左端区域
CRR…右端区域
CRU…剩余区域
P…指示物
PC…个人计算机
SC…外景
RE右眼
VI…虚像
EL…端部
AP…前端部
ER…端部
VR…视野
Yh…手
Li…像素列
具体实施方式
A.实施方式
A—1.头部安装型显示装置的构成：
图1是表示本发明的一个实施方式涉及的头部安装型显示装置的简要构成的说明图。头部安装型显示装置100为安装于头部的显示装置，也称为头戴式显示器(Head Mounted Display，以下，称为头戴式显示器100)。本实施方式的头戴式显示器100为用户可以在观看虚像的同时连外景也直接观看的光学透射型的头部安装型显示装置。
头戴式显示器100具备在安装于用户头部的状态下使用户观看虚像的图像显示部20和对图像显示部20进行控制的控制部(控制器)10。
图像显示部20为安装于用户的头部的安装体，在本实施方式中具有眼镜形状。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28和相机61。右光学像显示部26及左光学像显示部28分别配置为，在用户配戴图像显示部20时位于用户的右及左眼前。右光学像显示部26的一端与左光学像显示部28的一端在对应于用户配戴图像显示部20时的用户的眉间的位置，相互连接。
右保持部21为从右光学像显示部26的作为另一端的端部ER到对应于用户配戴图像显示部20时的用户的侧面头部的位置延伸而设置的构件。同样地，左保持部23为从左光学像显示部28的作为另一端的端部EL到对应于用户配戴图像显示部20时的用户的侧面头部的位置延伸而设置的构件。右保持部21及左保持部23如眼镜的鬓角(眼镜腿)似地，在用户的头部对图像显示部20进行保持。
右显示驱动部22配置于右保持部21的内侧，若换言之，则配置于对置于用户配戴图像显示部20时的用户的头部之侧。并且，左显示驱动部24配置于左保持部23的内侧。还有，在以下，对右保持部21及左保持部23进行总称也简单地称为“保持部”，对右显示驱动部22及左显示驱动部24进行总称也简单地称为“显示驱动部”，对右光学像显示部26及左光学像显示部28进行总称也简单地称为“光学像显示部”。
显示驱动部包括液晶显示器(Liquid Crystal Display，以下称为“LCD”)241、242和/或投影光学系统251、252等(参照图2)。显示驱动部的构成的详情后述。作为光学构件的光学像显示部包括导光板261、262(参照图2)和调光板。导光板261、262通过光透射性的树脂材料等形成，将从显示驱动部输出的图像光导至用户的眼睛。调光板为薄板状的光学元件，配置为，覆盖图像显示部20的表侧(与用户的眼睛侧相反侧)。调光板对导光板261、262进行保护，对导光板261、262的损伤和/或污渍的附着等进行抑制。并且，通过对调光板的光透射率进行调整，能够对进入用户的眼睛的外光量进行调整而对虚像的观看的容易度进行调整。还有，调光板可以进行省略。
相机61配置于对应于用户配戴图像显示部20时的用户的眉间的位置。相机61对图像显示部20的表侧方向若换言之则是配戴头戴式显示器100的状态下的用户的视场方向的外景(外部的景色)进行拍摄，取得外景图像。相机61为所谓的可见光相机，具备例如CCD(Charge Coupled Device，电荷耦合器件)和/或CMOS(Complementary Metal-OxideSemiconductor，互补金属氧化物半导体)等的拍摄元件。通过该相机61取得的外景图像为由从物体发出的可见光表示物体的形状的图像。虽然本实施方式中的相机61为单眼相机，但是也可以为立体相机。并且，相机61的配设位置并不限于用户的眉间，也可以为图像显示部20的端部EL和/或端部ER。
图像显示部20进一步具有用于将图像显示部20连接于控制部10的连接部40。连接部40包括连接于控制部10的主体软线48、主体软线48分支为2条的右软线42及左软线44和设置于分支点的连接构件46。右软线42从右保持部21的延伸方向的前端部AP插入于右保持部21的壳体内，连接于右显示驱动部22。同样地，左软线44从左保持部23的延伸方向的前端部AP插入于左保持部23的壳体内，连接于左显示驱动部24。在连接构件46，设置用于对耳机插塞30进行连接的插塞孔。右耳机32及左耳机34从耳机插塞30延伸。
图像显示部20与控制部10通过连接部40进行各种信号的传送。在主体软线48中的与连接构件46相反侧的端部和控制部10的各自，设置互相嵌合的连接器(图示省略)，通过主体软线48的连接器与控制部10的连接器的嵌合/解除嵌合，控制部10与图像显示部20连接/分离。在右软线42、左软线44和主体软线48，例如能够采用金属电缆和/或光纤。
控制部10为用于对头戴式显示器100进行控制的装置。控制部10包括点亮部12、触摸垫14、十字键16和电源开关18。点亮部12对头戴式显示器100的工作状态(例如，电源的接通/断开等)通过其发光状态进行通知。作为点亮部12，例如能够采用LED(Light Emitting Diode，发光二极管)。触摸垫14对在触摸垫14的操作面上的接触操作进行检测，输出相应于检测内容的信号。作为触摸垫14，能够采用静电式和/或压力检测式、光学式的各种触摸垫。十字键16检测向对应于上下左右方向的键的按下操作，输出相应于检测内容的信号。电源开关18通过对开关的滑动操作进行检测，对头戴式显示器100的电源的状态进行切换。
图2是功能性地表示头戴式显示器100的构成的框图。控制部10具备输入信息取得部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180和发送部(Tx)51及52，各部分通过未图示的总线相互连接。
输入信息取得部110例如取得相应于对于触摸垫14和/或十字键16、电源开关18等的操作输入的信号。存储部120通过ROM、RAM、DRAM、硬盘等构成。存储部120包括手轮廓形状存储部122。详情后述。电源130对头戴式显示器100的各部分供给电力。作为电源130，例如能够采用二次电池。
CPU140通过读出存储于存储部120的计算机程序并执行，而作为操作系统(OS)150、图像处理部160、声音处理部170、显示控制部190、AR处理部142起作用。AR处理部142以来自OS150和/或特定的应用程序的处理开始请求为触发，执行用于实现扩展现实感的处理(以下，也称为“扩展现实处理”。)。详情后述。还有，AR处理部142相当于技术方案中的“扩展现实处理部”。
图像处理部160基于通过接口180输入的内容(影像)而生成信号。而且，图像处理部160将生成的信号通过连接部40供给于图像显示部20。用于供给于图像显示部20的信号在模拟形式与数字形式的情况下不相同。在模拟形式的情况下，图像处理部160生成并发送：时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和图像数据Data。具体地，图像处理部160取得包括于内容的图像信号。取得的图像信号例如在动态图像的情况下，一般为包括每秒30幅的帧图像而构成的模拟信号。图像处理部160从取得的图像信号，分离垂直同步信号VSync和/或水平同步信号HSync等的同步信号，并相应于它们的周期，通过PLL电路等生成时钟信号PCLK。图像处理部160将分离出同步信号后的模拟图像信号利用A/D变换电路等变换为数字图像信号。图像处理部160将变换后的数字图像信号作为RGB数据的图像数据Data，1帧帧地存储于存储部120内的DRAM。另一方面，在数字形式的情况下，图像处理部160生成并发送时钟信号PCLK与图像数据Data。具体地，在内容为数字形式的情况下，因为时钟信号PCLK同步于图像信号而输出，所以不需要垂直同步信号VSync及水平同步信号HSync的生成以及模拟图像信号的A/D变换。还有，图像处理部160对于存储于存储部120的图像数据Data，也可以执行分辨率变换处理和/或辉度·彩度的调整的各种色调校正处理和/或梯形失真校正处理等的图像处理。
图像处理部160通过发送部51、52分别发送生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和存储于存储部120内的DRAM的图像数据Data。还有，将通过发送部51发送的图像数据Data也称为“右眼用图像数据Data1”，将通过发送部52发送的图像数据Data也称为“左眼用图像数据Data2”。发送部51、52作为控制部10与图像显示部20之间的用于串行传送的收发器而起作用。
图像处理部160除了所述的处理之外，具备也用于参与后述的用户的手识别的手检测处理部162。图像处理部160的手检测处理部162具体地按照后述的图6的手识别处理的步骤而进行：接受以相机61的各像素得到的拍摄数据的输入、以该拍摄数据表示的颜色的相邻像素之间的差值计算和/或以相邻像素之间的颜色的差值为预定阈值以内的拍摄数据的排列所形成的形状的捕捉、该捕捉的形状是否为用户的手的判定等。因而，该手检测处理部162与图6的手识别处理相结合，构筑技术方案中的“差值计算部”、“捕捉部”及“识别部”。
显示控制部190生成对右显示驱动部22及左显示驱动部24进行控制的控制信号。具体地，显示控制部190通过控制信号，对通过右LCD控制部211进行的右LCD241的驱动导通/断开和/或通过右背光源控制部201进行的右背光源221的驱动导通/断开、通过左LCD控制部212进行的左LCD242的驱动导通/断开和/或通过左背光源控制部202进行的左背光源222的驱动导通/断开等分别地进行控制，由此对通过右显示驱动部22及左显示驱动部24的各自进行的图像光的生成及射出进行控制。例如，显示控制部190使右显示驱动部22及左显示驱动部24的双方生成图像光、仅使一方生成图像光、使双方都不生成图像光。并且，显示控制部190通过发送部51及52分别发送相对于右LCD控制部211和左LCD控制部212的控制信号。并且，显示控制部190分别发送相对于右背光源控制部201和左背光源控制部202的控制信号。
声音处理部170取得包括于内容的声音信号，并对取得的声音信号进行放大，对于连接于连接构件46的右耳机32内的未图示的扬声器及左耳机34内的未图示的扬声器进行供给。还有，例如，在采用Dolby(注册商标)系统的情况下，进行对于声音信号的处理，从右耳机32及左耳机34分别输出例如改变频率等的不同的声音。
接口180为用于相对于控制部10连接成为内容的供给源的各种外部设备OA的接口。作为外部设备OA，例如存在个人计算机PC和/或便携电话终端、游戏终端等。作为接口180，例如能够采用USB接口和/或微USB接口、存储卡用接口等。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、相机61和9轴传感器66。
9轴传感器66为对加速度(3轴)、角速度(3轴)、地磁(3轴)进行检测的运动传感器。9轴传感器66因为设置于图像显示部20，所以在图像显示部20安装于用户的头部时，作为对用户的头部的移动进行检测的移动检测部而起作用。在此，所谓头部的移动，包括头部的速度、加速度、角速度、朝向的变化。
右显示驱动部22包括接收部(Rx)53、作为光源而起作用的右背光源(BL)控制部201及右背光源(BL)221、作为显示元件而起作用的右LCD控制部211及右LCD241和右投影光学系统251。还有，也将右背光源控制部201、右LCD控制部211、右背光源221和右LCD241总称为“图像光生成部”。
接收部53作为用于控制部10与图像显示部20之间的串行传送的接收器而起作用。右背光源控制部201基于输入的控制信号，对右背光源221进行驱动。右背光源221例如为LED和/或电致发光(EL)等的发光体。右LCD控制部211基于通过接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和右眼用图像数据Data1，对右LCD241进行驱动。右LCD241为将多个像素配置为矩阵状的透射型液晶面板。
图3是表示通过右显示驱动部22中的图像光生成部射出图像光的状况的说明图。右LCD241通过对配置为矩阵状的各像素位置的液晶进行驱动，使对右LCD241进行透射的光的透射率变化，由此将从右背光源221照射的照明光调制为表示图像的有效的图像光。还有，虽然在本实施方式中采用背光源方式，但是也可以采用前光源方式和/或反射方式而射出图像光。
右投影光学系统251通过使从右LCD241射出的图像光成为并行状态的光束的准直透镜而构成。作为右光学像显示部26的右导光板261使从右投影光学系统251输出的图像光一边沿着预定的光路反射一边导至用户的右眼RE。光学像显示部只要利用图像光在用户的眼前形成虚像，就能够采用任意的方式，例如，既可以采用衍射栅格，也可以采用半透射半反射膜。
左显示驱动部24具有与右显示驱动部22同样的构成。即，左显示驱动部24包括接收部(Rx)54、作为光源而起作用的左背光源(BL)控制部202及左背光源(BL)222、作为显示元件而起作用的左LCD控制部212及左LCD242和左投影光学系统252。右显示驱动部22与左显示驱动部24成对，左显示驱动部24的各部分因为具有与以右显示驱动部22进行了说明的所述的各部分同样的构成及功能，所以其说明进行省略。
图4是表示通过以AR处理部142执行的扩展现实处理被使用者识别的虚像之一例的说明图。如所述地，通过导至头戴式显示器100的使用者的双眼的图像光成像于使用者的视网膜，使用者能够观看虚像VI。如示于图4地，在头戴式显示器100的使用者的视野VR内显示虚像VI。并且，关于使用者的视野VR之中的显示有虚像VI的部分，使用者观看光学像显示部的虚像VI和透过该虚像VI地将外景SC在虚像VI的背后观看。关于使用者的视野VR之中的显示有虚像VI的部分以外，使用者能够透过光学像显示部，直接看见外景SC。如此地用于将虚像VI重叠于外景SC而进行显示的图像数据，通过以头戴式显示器100的AR处理部142进行的扩展现实处理，作为表示用于对用户感知的外景SC进行扩展的附加提示用的信息的图像数据而生成。而且，以AR处理部142生成的图像数据被通信给右LCD控制部211等，虚像VI显示于用户的正面区域。还有，所谓“对外景SC进行扩展”是指：相对于用户眼见的现实环境即外景SC而附加、删除、增强、衰减信息，对作为由用户看到的现实世界的外景SC进行扩展。在谋求图像数据生成的扩展现实处理时，AR处理部142为了使附加提示用的信息融像于外景SC，生成不相同的右眼用图像数据Data1与左眼用图像数据Data2。所谓“使附加提示用的信息融像于外景”是指：对于用户实际眼见的外景SC之中的从用户仅离开预定的距离的位置，显示对于用户使其产生存在附加提示用的信息那样的感觉的虚像VI。例如，若设在图4中被用户观看的虚像VI为苹果，则表示该苹果的图像数据作为重叠于包括于外景SC的现实的道路上的图像数据而通过扩展现实处理来生成，基于该生成的图像数据的图像作为虚像VI而显示。由此，使用者能够得到似苹果落到什么也没有的道路上的感觉，AR处理部142通过扩展现实处理生成：用于将示于图4的虚像VI和/或苹果的虚像VI在现实外景SC中从用户离开仅预定的距离地显示的右眼用、左眼用的所述数据，并对其进行输出。
A—2.手识别处理：
图5是对以包括图像处理部160和/或AR处理部142等的控制部10执行的手识别处理的概要进行说明的说明图。头戴式显示器100如示于图1地，在图像显示部20具备相机61，因为该相机位于眉间，所以如示于图5地，相机61的拍摄区域CR占据视野VR的基本中央的信息区域。用户因为根据相机位置基本感知该拍摄区域CR占据的位置，所以以自己的意志使自己的手Yh进入拍摄区域CR。若如此地用户的手Yh进入拍摄区域CR，则相机61对在外景SC包括有手Yh的图像进行拍摄，并将对应于各个像素的拍摄数据输出于CPU140。如果是示于图5的外景SC，则通过用户改变视点，则在拍摄区域CR，飞翔的鸟会进入、在道路行驶的车辆等也会进入。并且，例如，如果用户在室内使用头戴式显示器100，则在拍摄区域CR，桌子和/或椅子、室内犬和/或猫、友人等的面部等有时也会进入，相机61对包括这些的图像进行拍摄，并将对应于各个像素的拍摄数据输出于CPU140。本实施方式的头戴式显示器100对进入拍摄区域CR的物体是否为用户的手Yh如下地进行识别。图6是表示手识别处理的步骤的流程图。
该手识别处理反复执行，图像处理部160首先接受相机61具备的每个像素的拍摄数据的输入(步骤S100)。图7是对拍摄数据的输入的状况进行说明的说明图。如示于图7地，在本实施方式中，以对拍摄区域CR纵横地分割为四部分所得的分割区域CR11～CR22为数据输入单位。在此基础上，每个分割区域的数据输入以各自的分割区域的左上的像素为数据输入起点，按每个分割区域在横向方向进行扫描，并以分割区域的右下的像素为数据输入终点。按分割区域CR11→CR12→CR21→CR22的顺序执行如此的数据扫描输入。图像处理部160接受拍摄数据的扫描输入时，基于9轴传感器66的传感器输出，对用户的头部的倾斜和/或扭动等的头部的移动进行消除。图像处理部160一边接受按照像素的排列的每个分割区域的拍摄数据的扫描输入，一边对以接受该输入的拍摄数据表示的颜色的相邻像素之间的像素值的差值进行计算(步骤S102)。图8是示意地表示拍摄区域CR的一部分部位的相邻像素之间的像素值的差值计算的状况的说明图。
在如此的相邻像素之间的像素值的差值计算之后，图像处理部160将计算出的像素值的差值为预定的阈值以内的拍摄数据的排列进行分组化(步骤S104)。在图8中，在像素列Li中，在用户的手Yh的手指占据的范围中因为相邻的像素的像素值的计算差值为预定的阈值以内，所以分组化。在像素列Li以外的像素列中也进行同样的分组化。因为相邻像素之间的颜色的差值为预定的阈值以内这一点，与在相邻的像素进行了拍摄的颜色在阈值范围为相同的颜色这一点，为同一含义，所以通过步骤S104的分组化，同色系统的区域与其他的区域被区分。在图8中，用户的手Yh的区域与其他的区域被区分，捕捉其轮廓形状。并且，在图8中关于用户的手Yh以外的区域也进行相邻像素之间的像素值的差值计算，计算出的差值为预定的阈值以内的拍摄数据的排列被分组化。图9是简要地表示在拍摄区域CR的全域中进行了差值计算与其分组化的结果的说明图。如示于该图9地，例如，在手Yh的左右和/或上方中，如果拍摄到假设相同的颜色的云和/或山脉树木，则即使是该云和/或山脉、树木，也按计算出的差值为预定的阈值以内的拍摄数据的排列而分组化。在本实施方式中，通过所述的分组化捕捉到的轮廓形状相比于通过相机61拍摄而得到的用户的手Yh的大小如果为小的形状，则从后述的形状对比的对象去除。由此，能够减轻用于形状对比的运算负担。
接下来，图像处理部160对上次的手识别处理时在步骤S104中分组化而捕捉到的轮廓和在此次的手识别处理的步骤S104中分组化而捕捉到的轮廓进行对比，对捕捉完毕的轮廓是否进行了移动或者在轮廓形状是否存在变化进行判别(步骤S106)。例如，在图8中，若用户保持图示的手指的形状不变地移动手Yh、用户弯曲拇指，则判别为存在捕捉完毕轮廓的移动和/或轮廓形状变化，图像处理部160从存储部120的手轮廓形状存储部122，作为对比形状读入存储完毕的手轮廓(步骤S108)。另一方面，若不存在捕捉完毕轮廓的移动和/或轮廓形状变化，则因为捕捉到的轮廓为图8中的云和/或山脉、树木、或者室内使用时的室内的桌子和/或椅子等的可能性高，所以步骤S108以后的手识别无用，暂时结束本例程。该情况下，虽然也可能存在用户在使手Yh进入拍摄区域CR之后不再使该手移动的情况，但是因为用户的手Yh在向拍摄区域CR进入的时刻存在移动，所以在步骤S106中被肯定判别，会转变到接着的步骤S108。还有，也可以将步骤S106的判别处理省略，并接续于在步骤S104的轮廓捕捉而执行步骤S108的作为对比形状的存储完毕手轮廓的读入。
图10为表示在存储部120的手轮廓形状存储部122作为对比形状存储完毕的手轮廓的简要情况的说明图。如图示地，在手轮廓形状存储部122，存储有表示张开拇指且伸出食指的手Yh的轮廓的数据、表示仅伸出食指而弯曲其他的手指的手Yh的轮廓的数据、表示伸出食指与中指的手Yh的轮廓的数据等。这些轮廓在进入相机61的拍摄区域CR时，假想地规定用户预先可取得的手Yh的形状而数据化，预先存储于手轮廓形状存储部122。图像处理部160在继于步骤S106的步骤S108中读入图10的手Yh的轮廓数据，此后，将在步骤S104中捕捉到的轮廓与对应于图10的手Yh的轮廓数据的轮廓相对比，对其一致、不一致进行判定(步骤S110)。图像处理部160在该判定中，采用对凹凸的状况进行对比的所谓凹凸对比方法等的方法，若判定为轮廓相一致，则将该进行了判定的轮廓识别为用户的手Yh(步骤S112)。此后，图像处理部160与AR处理部142等协作，使得对应于在步骤S112识别出的用户的手Yh的一部分部位例如指尖的指示物P加入于虚像VI地，对虚像VI的生成用的图像数据进行修正，并通过该修正的图像数据使用户观看包括指示物P的虚像VI(步骤S114)。图11是简要地表示将对应于识别出的用户的手Yh的指尖的指示物P加入于虚像VI的状况的说明图。还有，虚像VI中的指示物P相对应的用户的手指的部位并不限于指尖，也可以为在步骤S112识别出的用户的手Yh的指根和/或伸出的手指的中部。
图像处理部160，根据对应于从相机61输出的拍摄数据的像素的排列计算占据于拍摄区域CR的手Yh的指尖的坐标，并将使该拍摄区域CR对应于虚像VI的显示矩形进行了变形时的指尖坐标作为指示物P的坐标进行换算计算。而且，使得指示物P显示于虚像VI中的该换算坐标地，AR处理部142再生成(修正)虚像VI的生成用的图像数据，使如示于图11地包括指示物P的虚像VI被用户观看。此后，如果用户的手Yh在拍摄区域CR的范围内进行移动，则因为图像处理部160进行每次的手Yh的指尖坐标的计算和虚像VI中的指示物坐标的换算计算，因此AR处理部142接受此，追随于手Yh的指尖的移动而对虚像VI的显示用的图像数据进行更新，所以一边使指示物P在虚像VI中移动，一边使该虚像VI被用户观看。
具备以上说明的构成的本实施方式的头戴式显示器100如示于图1地，当对进入对将其安装于头部的用户的正面区域进行拍摄的相机61的拍摄区域CR的用户的手Yh进行识别时，预先在手轮廓形状存储部122，存储拍摄得到的手Yh的轮廓形状。在此基础上，本实施方式的头戴式显示器100接受相机61具备的每个像素的拍摄数据的输入(步骤S100)，进行以拍摄数据表示的颜色的相邻像素之间的差值计算(步骤S102)，对该计算差值为预定的阈值以内的同色系统的拍摄数据的排列进行分组化(步骤S104：图8～图9)。而且，本实施方式的头戴式显示器100将经由分组化而捕捉到的轮廓与在手轮廓形状存储部122存储完毕的手Yh的轮廓形状进行对比(步骤S110)，如果轮廓相一致，则将经由分组化而捕捉到的轮廓识别为进入拍摄区域CR的用户的手Yh。
其结果，根据本实施方式的头戴式显示器100，因为不必对成为用户的手的识别的基准的模型色按手的颜色进行规定，所以无损对用户的手Yh进行识别时的便利性。并且，对相邻像素之间的颜色的差值进行计算时的各自的像素，因为即使用户的手的周边的照度突变，也是基本等量地受其影响，所以相邻像素之间的颜色的差值并不怎么受用户的手Yh的周边的照度的突变影响。因而，根据本实施方式的头戴式显示器100，能够对因照度突变引起的手的识别准确度的下降进行抑制，并能够提高识别准确度。并且，因为存储于手轮廓形状存储部122的手的轮廓形状只要是在拍摄区域CR中预想用户因某目的而采用的手的轮廓形状即可，所以预先存储的手的轮廓形状不必某程度地限制，不必相应于人种和/或各个用户而进行设定。从这点也是，根据本实施方式的头戴式显示器100，除了无损对用户的手Yh进行识别时的便利性之外，对用户的手Yh的识别的通用性提高，并且成本也可以降低。
本实施方式的头戴式显示器100在将经由分组化而捕捉到的轮廓与在手轮廓形状存储部122存储完毕的手Yh的轮廓形状进行对比时，若捕捉完毕的轮廓在预定的形状变化范围内原样移动、捕捉完毕轮廓发生形状变化(步骤S106：肯定判定)，则执行捕捉完毕轮廓与存储完毕的手的轮廓的对比。通过如此地进行，存在如下的优点。在相机对用户的正面区域进行拍摄的情况下，在相机也可拍摄到用户的手以外的物体。例如，在正对于用户的相机对用户的正面区域进行拍摄时，不仅可拍摄到用户的手Yh，而且也可拍摄到用户的面部和/或上半身、或者用户后方的室内的桌子和/或椅子等的所谓的静止物。此外，组装于图像显示部20的相机61例如对图8中的云和/或山脉、树木、或者室内使用时的室内的桌子和/或椅子等的静止物进行拍摄。这些静止物不会发生轮廓的移动和/或轮廓形状的变化。相对于此，用户因为通常具有某目的而使得手Yh进入拍摄区域CR，所以使手Yh不怎么变化其姿势地，在拍摄区域中移动、改变手Yh的形状。因而，因为即使捕捉图8中的云和/或山脉、树木、或者室内使用时的室内的桌子和/或椅子等的所谓的静止物，关于它们，也不会发生轮廓的移动和/或轮廓形状的变化，所以能够将关于静止物进行了补充所得的轮廓从与存储完毕的手的轮廓的对比中去除。因而，根据本实施方式的头戴式显示器100，能够减轻手识别所需的运算处理的负担。
本实施方式的头戴式显示器100以AR处理部142生成用于使虚像VI重叠于外景SC而进行显示的图像数据，并通过该生成的图像数据，使得虚像VI显示于用户的正面区域地使虚像VI重叠于外景SC而被观看。在此基础上，本实施方式的头戴式显示器100若对进入拍摄区域CR的用户的手Yh如已述地进行识别，则使得对应于该进行了识别的用户的手Yh的指尖的指示物P加入于虚像VI地，对图像数据进行修正，使虚像VI包括指示物P而被观看(步骤S114：图11)。因而，根据本实施方式的头戴式显示器100，能够使用户识别用户自身的手Yh与虚像VI中的指示物P的对应。
本实施方式的头戴式显示器100关于显示有包括指示物P的虚像VI的部分，使用户透过虚像VI地而在虚像VI的背后观看外景SC。因而，关于虚像VI，能够使用户将其观看为，透过进入相机61的拍摄区域CR的用户的手Yh而显示。其结果，根据本实施方式的头戴式显示器100，因为使用户重叠于虚像VI而识别用户的手Yh，所以能够提高相对于用户的手Yh的工作的指示物P的识别。
本实施方式的头戴式显示器100，一边对所识别的用户的手Yh的指尖在拍摄区域CR中占据的坐标进行运算，一边将该坐标换算为虚像VI中的指示物P的坐标、使包括指示物P的虚像VI被用户观看(步骤S114：图11)。因而，根据本实施方式的头戴式显示器100，因为追随于手Yh的移动而使得指示物P在虚像VI中移动，使自身的手Yh的移动与指示物P的移动相关地而由用户识别，所以也可以将用户的手Yh应用于某些指令工作，便利性提高。
本实施方式的头戴式显示器100在接受拍摄数据的扫描输入时，基于9轴传感器66的传感器输出而消除用户的头部的移动。因而，根据本实施方式的头戴式显示器100，因为不会被用户的头部的移动左右地、能够正确地捕捉作为同色系统进行了分组化的轮廓，所以用户的手的识别精度提高。
A—3.其他的实施方式
头戴式显示器100能够为如下的实施方式。图12是简要地表示以其他的实施方式的头戴式显示器100进行的手识别处理的状况的说明图。在该实施方式中，以按对拍摄区域CR预先进行了划分所得的每个划分区域所确定的执行顺序进行：步骤S100中的拍摄数据的扫描输入和此后的步骤S102中的差值计算。也就是说，如示于图12地，将拍摄区域CR预先划分为左端区域CRL、右端区域CRR、下端区域CRD和剩余区域CRU，并按右端区域CRR→下端区域CRD→左端区域CRL的顺序执行各分割区域每个的横向方向的数据扫描输入。通常，因为用户使惯用手侧的手Yh进入从用户看到的相机的拍摄区域CR，所以如果惯用右手则使手Yh从右端区域CRR或从下端区域CRD进入拍摄区域CR。在先前进行了说明的实施方式中，因为使指尖一致于指示物P，所以即使是惯用左手的用户，也可假想采用与惯用右手同样的手的工作。因而，根据将拍摄区域CR预先划分为左端区域CRL、右端区域CRR、下端区域CRD和剩余区域CRU并按所述的顺序实现数据扫描输入的该方式的头戴式显示器100，通过使得按每个划分区域确定的执行顺序对应于手Yh向拍摄区域CR的进入工作，例如，能够在用户的手Yh进入右端区域CRR的时刻迅速地识别该手Yh，此后，能够通过全部区域中的数据输入而使手Yh的举动对应于指示物P的工作。在该实施方式中，也可以按下端区域CRD→右端区域CRR→左端区域CRL的顺序执行数据扫描输入。
作为头戴式显示器100的其他的实施方式，将在步骤S100中接受输入的RGB系的拍摄数据色变换为以色调(hue)、色饱和度(saturation)和亮度(value)表示颜色的HSV表色系。而且，将在后续的步骤S102中的相邻像素之间的颜色的差值计算替换为通过色变换得到的亮度的相邻像素之间的差值计算。对拍摄数据进行色变换得到的亮度，因为与受到拍摄的用户的手Yh的周边的照度的影响的辉度在向HSV表色系的色变换的过程中被分离，所以依照采用经由向HSV表色系的色变换而得到的亮度的实施方式的头戴式显示器100，能够对伴随于照度突变的识别准确度的降低以更高的有效性进行抑制，能够进一步提高手Yh的识别准确度。
B.变形例：
在所述实施方式中，既可以将通过硬件实现的构成的一部分替换为软件，相反地，也可以将通过软件实现的构成的一部分替换为硬件。另外，也可以为如以下的变形。
·变形例1：
在所述实施方式中，关于头戴式显示器的构成进行了例示。但是，头戴式显示器的构成在不脱离本发明的主旨的范围中可以任意地确定，例如，能够进行各构成部的追加、删除、变换等。
所述实施方式中的相对于控制部与图像显示部的构成要件的分配只是一例，可以采用各种方式。例如，也可以为如以下的方式。(i)在控制部搭载CPU和/或存储器等的处理功能，在图像显示部仅搭载显示功能的方式；(ii)在控制部和图像显示部的双方搭载CPU和/或存储器等的处理功能的方式；(iii)使控制部和图像显示部一体化的方式(例如，在图像显示部包括控制部而作为眼镜型可佩戴计算机而起作用的方式)；(iv)代替控制部而使用智能电话机和/或便携型游戏机的方式；(v)通过使控制部与图像显示部为无线通信且可以无线馈电的构成而废弃连接部(软线)的方式。
在所述实施方式中，为了说明的方便，控制部具备发送部，图像显示部具备接收部。可是，所述实施方式的发送部及接收部都能够具备可以进行双向通信的功能，作为发送接收部而起作用。并且，例如，示于图2的控制部通过有线的信号传送路与图像显示部相连接。但是，控制部与图像显示部也可以通过介由无线LAN和/或红外线通信和/或Bluetooth(注册商标)等的无线的信号传送路的连接而连接。
例如，示于图2的控制部、图像显示部的构成能够任意地进行变更。具体地，例如也可以构成为：从控制部省略触摸垫，仅以十字键进行操作。并且，也可以在控制部具备操作用杆等的其他的操作用接口。并且，作为可以在控制部连接键盘和/或鼠标等的器件的构成，也可以从键盘和/或鼠标接受输入。并且，例如，除了通过触摸垫和/或十字键进行的操作输入之外，也可以通过脚踏开关(通过用户的脚进行操作的开关)取得操作输入。并且，如果通过脚踏开关和/或视线可以取得操作输入，则即使在用户难以撒手的作业中，输入信息取得部也能够取得来自用户的操作输入。
例如，头戴式显示器虽然为双眼型的透射型头戴式显示器，但是也可以为单眼型的头戴式显示器。并且，也可以构成为：在用户配戴有头戴式显示器的状态下遮断外景的透射的非透射型头戴式显示器。
图13是表示变形例中的头戴式显示器的外观的构成的说明图。在图13(A)的例的情况下，与示于图1的头戴式显示器100的不同之点为：图像显示部20a具备右光学像显示部26a以代替右光学像显示部26和具备左光学像显示部28a以代替左光学像显示部28。右光学像显示部26a形成得比示于图1的光学构件小，配置于头戴式显示器安装时的用户的右眼的斜上方。同样地，左光学像显示部28a形成得比示于图1的光学构件小，配置于头戴式显示器安装时的用户的左眼的斜上方。在图13(B)的例的情况下，与示于图1的头戴式显示器100的不同之点为，图像显示部20b具备右光学像显示部26b以代替右光学像显示部26和具备左光学像显示部28b以代替左光学像显示部28。右光学像显示部26b形成得比示于图1的光学构件小，配置于头戴式显示器安装时的用户的右眼的斜下方。左光学像显示部28b形成得比示于图1的光学构件小，配置于头戴式显示器安装时的用户的左眼的斜下方。如此地，光学像显示部只要配置于用户的眼睛的附近即可。并且，形成光学像显示部的光学构件的大小也是任意的，也能够实现为：光学像显示部仅覆盖用户的眼睛的一部分的方式、若换言之则光学像显示部不完全地覆盖用户的眼睛的方式的头戴式显示器。
例如，图像处理部、显示控制部、AR处理部、声音处理部等的功能部记载为：通过CPU将存储于ROM和/或硬盘的计算机程序展开于RAM并执行而实现。但是，这些功能部也可以采用用于实现该功能而设计的ASIC(Application Specific Integrated Circuit：面向特定用途集成电路)而构成。
例如，虽然在所述实施方式中，图像显示部为如眼镜似地安装的头戴式显示器，但是图像显示部也可以为通常的平面型显示装置(液晶显示装置、等离子体显示装置、有机EL显示装置等)。在该情况下，控制部与图像显示部之间的连接既可以是通过有线的信号传送路的连接，也可以是通过无线的信号传送路的连接。如此一来，也能够将控制部用作通常的平面型显示装置的遥控器。
并且，作为图像显示部，也可以代替如眼镜似地进行安装的图像显示部，而采用例如如帽子似地进行安装的图像显示部那样的其他的形状的图像显示部。并且，耳机既可以采用耳挂型和/或头戴型，也可以省略。并且，例如，也可以构成为搭载于汽车和/或飞机等的车辆的平视显示器(HUD，Head-Up Display)。并且，例如，也可以构成为内置于头盔等的身体防护具的头戴式显示器。
例如，虽然在所述实施方式中，作为电源采用二次电池，但是作为电源并不限于二次电池，能够使用各种电池。例如，也可以使用一次电池和/或燃料电池、太阳能电池、热电池等。
例如，在所述实施方式中，利用背光源、背光源控制部、LCD和LCD控制部而构成图像光生成部。但是，所述的方式只是例示。图像光生成部也可以除了这些构成部之外或代替这些构成部，具备用于实现其他的方式的构成部。例如，图像光生成部也可以构成为，具备有机EL(有机电致发光，Organic Electro-Luminescence)的显示器和有机EL控制部。并且，例如，图像生成部也能够采用数字微镜器件等而代替LCD。并且，例如，对于激光视网膜投影型的头部安装型显示装置也可以应用本发明。
·其他的变形例：
AR处理部也可以使通过相机取得的用户的视场方向的外景图像通过像素视差角而图形匹配，来实现扩展现实处理。具体地，图像显示部构成为，具备右眼用相机和左眼用相机。右眼用相机配置于图像显示部的对应于用户的右眼的位置，为可以对图像显示部的表侧方向的外景进行拍摄的相机。左眼用相机配置于图像显示部的对应于用户的左眼的位置，为可以对图像显示部的表侧方向的外景进行拍摄的相机。AR处理部也可以求得：包括于通过右眼用相机拍摄的图像的对象物体(成为使附加提示用的信息显示于附近的对象的物体)和包括于通过左眼用相机拍摄的图像的对象物体之间的偏离量，利用该偏离量和像素视差角，确定作为扩展现实处理中的虚像VI的显示处所的“目标距离”。
AR处理部也可以仅限于满足预定的条件的情况而执行所述的扩展现实处理。例如，在具备可以检测用户相对于图像显示部的视线的方向的构成的基础上，AR处理部也可以仅限于检测到的视线的方向满足以下的条件之中的至少任1个的情况，来执行所述的扩展现实处理。
·在水平约200°、垂直约125°(例如，向下方向75°、向上方向50°)的视野角的范围内时。
·信息受容能力优异的有效视野，即，水平约30°、垂直约20°的范围内时。
·注视点可迅速稳定看到的稳定注视视野，即，水平60°～90°、垂直45°～70°的范围内时。
·从开始引起被图像诱发的自我运动感觉(vection，相对运动错觉)的诱发的水平约20°，到自我运动感觉饱和的约110°的范围内时。
此外，也可以为不进行扩展现实处理的手识别构成的变形例。图14是表示对用户的手进行识别的图像处理装置的简要的说明图。如图示地，在该变形例中，采用个人计算机PC，使内置的相机61成为已述的实施方式中的头戴式显示器100的相机61。还有，也可以将与计算机分体的相机与个人计算机PC相连接而构成。在该变形例中，个人计算机PC去除与扩展现实处理相关的构成而具备示于图2的控制部10。包括个人计算机PC的图像处理装置对位于个人计算机PC之前的用户的正面区域以相机61进行拍摄，并对进入该拍摄区域的用户的手Yh，与已述的头戴式显示器100同样地进行识别。
并且，在所述的实施方式的头戴式显示器100中，对进入拍摄区域CR的用户的手Yh进行识别时，虽然进行了按相机61所具备的每个像素接受输入的相邻像素之间的像素值的差值计算(步骤S102)，但是也可以关于包括进入拍摄区域CR以至于被拍摄到的某轮廓捕捉对象物的拍摄图像的附近区域，进行相邻像素之间的像素值的差值计算、进行关于从占据该附近区域的像素得到的颜色的数据的差值计算。如果为关于占据所述的附近区域的像素的差值计算，则关于如示于图8地映入的云和/或山脉、树木等的静止物，能够从经由差值运算的轮廓形状的捕捉对象除外，所以能够相应地减轻运算负担。
本发明并不限于所述的实施方式和/或实施例、变形例，在不脱离其主旨的范围能够以各种构成而实现。例如，对应于记载于发明内容栏的各方式中的技术特征的实施方式、实施例、变形例中的技术特征用于解决所述的问题的一部分或全部，或者用于达到所述的效果的一部分或全部，可以适当地进行替换和/或组合。并且，只要该技术特征在本说明书中并未说明为必须，则可以适当地删除。

Claims (8)

1.一种图像处理装置，其特征在于：
对进入拍摄用户的正面的相机的拍摄区域的所述用户的手进行识别；
具备差值计算部、捕捉部、存储部和识别部，
所述差值计算部，接受包括所述相机所具备的多个数据的拍摄图像的输入，对该拍摄图像中的所述数据的差值进行计算，在所述拍摄区域的至少一部分区域中执行该数据的差值计算，
所述捕捉部，将该差值计算部计算出的所述差值为预定的阈值以内的区域的形状捕捉为识别对象形状，
所述存储部，预先存储有作为该捕捉到的识别对象形状的对比形状的手的轮廓形状，
所述识别部，将所述捕捉部捕捉到的识别对象形状与所述存储部存储的所述轮廓形状对比，基于其的对比结果，将所述捕捉到的识别对象形状识别为进入所述拍摄区域的所述用户的手。
2.根据权利要求1所述的图像处理装置，其特征在于：
所述差值计算部，计算所述拍摄图像的所述差值，来作为构成所述拍摄图像的相邻像素间的像素值的差值；
所述捕捉部，将所述相邻像素间的像素值的差值为预定的阈值以内的区域的形状捕捉为所述识别对象形状。
3.根据权利要求1或2所述的图像处理装置，其特征在于：
所述差值计算部，以按预先划分所述拍摄区域所得的每个划分区域所确定的执行顺序，执行所述划分区域中的所述差值计算。
4.根据权利要求3所述的图像处理装置，其特征在于：
所述划分区域划分为所述拍摄区域的左端区域、右端区域、下端区域和剩余的区域，所述差值计算部使所述左端区域、所述右端区域和所述下端区域中的任一区域最先执行所述差值计算。
5.根据权利要求2～4中的任一项所述的图像处理装置，其特征在于：
所述差值计算部，计算对构成所述拍摄图像的像素数据进行色变换而得到的亮度的所述相邻像素间的差值，来作为所述相邻像素间的像素值的差值。
6.一种头部安装型显示装置，其特征在于：
能使用户重叠于外景而观看虚像；
具备扩展现实处理部、图像处理装置和相机，
所述扩展现实处理部，生成用于对所述虚像进行显示的图像数据，通过该生成的所述图像数据，以使得所述虚像显示于用户的视野的方式使所述虚像被观看，
所述图像处理装置为权利要求1～5中的任一项的图像处理装置，
所述相机能对用户的手进行拍摄，
所述扩展现实处理部，使所述虚像在对应于所述拍摄区域的显示区域被观看，并且如果所述图像处理装置的所述识别部对进入所述拍摄区域的所述用户的手进行识别，则生成用于显示所述虚像的所述图像数据，其中，上述虚像中加入有对应于该识别到的所述用户的手的至少一部分部位的手部位对应图像，相应于在所述拍摄区域中所述一部分部位所占据的位置，对在所述虚像的显示区域中所述手部位对应图像所占据的位置进行更新。
7.根据权利要求6所述的头部安装型显示装置，其特征在于：
所述扩展现实处理部以下述方式生成所述图像数据：使得包括所述手部位对应图像的所述虚像透过进入所述相机的拍摄区域的所述用户的手而显示。
8.根据权利要求6或7所述的头部安装型显示装置，其特征在于：
具备对用户的头部的移动进行检测的头部举动检测传感器；
所述图像处理装置的所述差值计算部，在消除了所述头部举动检测传感器检测到的头部的移动的状态下，从所述相机接受所述拍摄图像的输入。
CN201410437585.3A 2013-08-29 2014-08-29 图像处理装置及具有其的头部安装型显示装置 Active CN104423046B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-177861 2013-08-29
JP2013177861A JP6217244B2 (ja) 2013-08-29 2013-08-29 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム

Publications (2)

Publication Number Publication Date
CN104423046A true CN104423046A (zh) 2015-03-18
CN104423046B CN104423046B (zh) 2019-03-08

Family

ID=52582579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410437585.3A Active CN104423046B (zh) 2013-08-29 2014-08-29 图像处理装置及具有其的头部安装型显示装置

Country Status (3)

Country Link
US (1) US9547372B2 (zh)
JP (1) JP6217244B2 (zh)
CN (1) CN104423046B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657370A (zh) * 2016-01-08 2016-06-08 李昂 一种封闭性的可穿戴全景摄像与处理系统及其操作方法
CN108401452A (zh) * 2018-02-23 2018-08-14 香港应用科技研究院有限公司 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
CN109765990A (zh) * 2017-11-09 2019-05-17 夏普株式会社 画面显示控制方法及画面显示控制系统
CN109901705A (zh) * 2017-12-11 2019-06-18 富士施乐株式会社 信息处理装置以及存储程序的计算机可读介质
CN110001401A (zh) * 2018-01-05 2019-07-12 拉碧斯半导体株式会社 操作判定装置以及操作判定方法
WO2019161576A1 (en) * 2018-02-23 2019-08-29 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
CN110362192A (zh) * 2018-03-26 2019-10-22 联想（新加坡）私人有限公司 基于肢体位置的消息位置
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6237000B2 (ja) * 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
JP6609920B2 (ja) * 2014-12-25 2019-11-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6786792B2 (ja) 2015-12-03 2020-11-18 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
JP2019113881A (ja) 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置
US11170580B2 (en) * 2017-02-16 2021-11-09 Sony Corporation Information processing device, information processing method, and recording medium
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
EP3639083A4 (en) * 2017-06-14 2021-01-27 Hewlett-Packard Development Company, L.P. DISPLAY SETTINGS
US20190066385A1 (en) * 2017-08-31 2019-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN110598795A (zh) * 2019-09-17 2019-12-20 展讯通信（上海）有限公司 图像差异检测方法及装置、存储介质、终端
US11544921B1 (en) * 2019-11-22 2023-01-03 Snap Inc. Augmented reality items based on scan

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963663B1 (en) * 1999-06-29 2005-11-08 Minolta Co., Ltd. Image processing for image correction
CN101137046A (zh) * 2006-08-31 2008-03-05 索尼株式会社 图像处理装置、图像处理方法和图像处理程序
CN101140661A (zh) * 2007-09-04 2008-03-12 杭州镭星科技有限公司 一种以动态投影为背景的实时目标识别方法
US20100156787A1 (en) * 2008-12-19 2010-06-24 Brother Kogyo Kabushiki Kaisha Head mount display
CN102591447A (zh) * 2010-10-29 2012-07-18 索尼公司 图像处理设备,方法和程序
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3375158B2 (ja) * 1991-11-28 2003-02-10 株式会社リコー 画像データ処理方法及びその装置
JPH10336439A (ja) * 1997-05-28 1998-12-18 Minolta Co Ltd 画像読取り装置
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
DE10100616A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Authentisierung einer Person mittels Handerkennung
JP5262681B2 (ja) 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120229509A1 (en) * 2011-03-07 2012-09-13 Liu Guangsong System and method for user interaction
JP2012194492A (ja) * 2011-03-17 2012-10-11 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラム
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
US9524028B2 (en) * 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963663B1 (en) * 1999-06-29 2005-11-08 Minolta Co., Ltd. Image processing for image correction
CN101137046A (zh) * 2006-08-31 2008-03-05 索尼株式会社 图像处理装置、图像处理方法和图像处理程序
CN101140661A (zh) * 2007-09-04 2008-03-12 杭州镭星科技有限公司 一种以动态投影为背景的实时目标识别方法
US20100156787A1 (en) * 2008-12-19 2010-06-24 Brother Kogyo Kabushiki Kaisha Head mount display
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN102591447A (zh) * 2010-10-29 2012-07-18 索尼公司 图像处理设备,方法和程序
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
CN105657370A (zh) * 2016-01-08 2016-06-08 李昂 一种封闭性的可穿戴全景摄像与处理系统及其操作方法
CN109765990A (zh) * 2017-11-09 2019-05-17 夏普株式会社 画面显示控制方法及画面显示控制系统
CN109765990B (zh) * 2017-11-09 2022-08-23 夏普株式会社 画面显示控制方法及画面显示控制系统
CN109901705A (zh) * 2017-12-11 2019-06-18 富士施乐株式会社 信息处理装置以及存储程序的计算机可读介质
CN110001401A (zh) * 2018-01-05 2019-07-12 拉碧斯半导体株式会社 操作判定装置以及操作判定方法
CN110001401B (zh) * 2018-01-05 2023-07-18 拉碧斯半导体株式会社 操作判定装置以及操作判定方法
CN108401452A (zh) * 2018-02-23 2018-08-14 香港应用科技研究院有限公司 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
WO2019161576A1 (en) * 2018-02-23 2019-08-29 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
CN108401452B (zh) * 2018-02-23 2021-05-07 香港应用科技研究院有限公司 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
CN110362192A (zh) * 2018-03-26 2019-10-22 联想（新加坡）私人有限公司 基于肢体位置的消息位置
CN110362192B (zh) * 2018-03-26 2023-07-07 联想（新加坡）私人有限公司 基于肢体位置的消息位置

Also Published As

Publication number Publication date
JP2015046092A (ja) 2015-03-12
US20150062165A1 (en) 2015-03-05
JP6217244B2 (ja) 2017-10-25
US9547372B2 (en) 2017-01-17
CN104423046B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN104423046A (zh) 图像处理装置及具有其的头部安装型显示装置
US11054650B2 (en) Head-mounted display device, control method of head-mounted display device, and display system
US10643400B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
CN110068926B (zh) 显示装置
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
CN104238119B (zh) 头戴式显示装置以及头戴式显示装置的控制方法
JP5970872B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9792710B2 (en) Display device, and method of controlling display device
CN104280884B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104714302A (zh) 头部佩戴型显示装置
US20160225190A1 (en) Head-mounted display device, method of controlling the same, and computer program
JP6596914B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
CN105319716A (zh) 显示装置、显示装置的控制方法及程序
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP6308249B2 (ja) 頭部装着型表示装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant