CN103620535A - 信息输入装置 - Google Patents

信息输入装置 Download PDF

Info

Publication number
CN103620535A
CN103620535A CN201280029020.0A CN201280029020A CN103620535A CN 103620535 A CN103620535 A CN 103620535A CN 201280029020 A CN201280029020 A CN 201280029020A CN 103620535 A CN103620535 A CN 103620535A
Authority
CN
China
Prior art keywords
image
projected
input device
input information
control part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280029020.0A
Other languages
English (en)
Other versions
CN103620535B (zh
Inventor
井出昌史
铃木正也
阿部洋辅
野崎孝明
吉永明生
野田悠二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citizen Holdings Co Ltd
Citizen Watch Co Ltd
Original Assignee
Citizen Watch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Citizen Watch Co Ltd filed Critical Citizen Watch Co Ltd
Publication of CN103620535A publication Critical patent/CN103620535A/zh
Application granted granted Critical
Publication of CN103620535B publication Critical patent/CN103620535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Abstract

本发明的目的在于，提供一种能够追踪被检测对象，改变输入用图像的投影位置，并检测出对输入用图像信息的信息输入的信息输入装置。一种信息输入装置，包括：投影部，其投影输入用图像；投影位置变更部，其变更输入用图像的投影位置；检测传感器，其检测出被检测对象的位置；信息检测部，其追踪通过检测传感器检测出的被检测对象的位置，使投影位置变更部改变输入用图像的投影位置，并且基于由检测传感器得到的数据检测对输入用图像的信息输入。

Description

信息输入装置
技术领域
本发明涉及一种信息输入装置，尤其涉及一种使用被投影的输入用图像的信息输入装置。
背景技术
例如，为了进行用于操作电视、录像机等的信息输入，通常使用遥控器等信息输入装置。然而，存在着打算使用时却找不到遥控器等，或者想使用时却不能使用的问题。
因此，需要一种不对信息输入机器自身进行操作，简单容易理解，且能被大多数人直觉地进行操作的信息输入装置。
可是，已知一种由影像投射装置对显示具有多个输入键的操作部的影像进行投影，并根据图像确认处理来检测该影像上的手指移动，判别为已执行对应于输入键的按下操作的信息输入装置（例如，参见专利文献1）。
专利文献1中，根据由摄像部读取的影像，通过边缘检测对手指进行判别后，对手指的从上到下的移动，即与投影影像的面对应的手指的接触进行检测。
又，已知一种将投影仪穿戴在用户身上，并用手掌来接收投影仪所投影的拨号盘，一旦用佩戴于用户指尖的器具指示投影于手掌的拨号盘，就执行与被指示的拨号盘对应的输入的、可佩戴的手势界面（例如，参见专利文献2）。
专利文献2所记载的手势界面中，对摄像机拍摄的图像进行计算机图像分析，追寻佩戴于用户的指尖的器具的移动，判断是否存在与拨号盘对应的输入。又，因为用反光镜反射从投影仪得到的图像后进行投影，所以能够通过用户手动变更反光镜的位置来变更投影场所。
进一步地，已知一种在能够投影图像的规定区域中，对手掌进行检测，在检测出的手掌上，投影星星、俳句、图鉴的内容的系统（例如，参见专利文献3）。专利文献3的系统中，虽然固定了投影仪的投影方向，但因为常在规定区域整体上进行投影，所以仅在检测出的手掌部分上显示图像。
现有技术文献
专利文献
专利文献1：日本专利公开平11-95895号公报（图1）
专利文献2：美国专利公开2010/0199232号公报（图12）
专利文献3：《手掌界面：使用图像处理的公共空间的个人信息提示系统》，信息处理学会论文志，vol.49，No.72528-2538，2008年7月
发明内容
然而，如果通过检测影像的边缘来判断手指移动的话，存在将人的手指以外的物体错误地识别为手指，或者在拿着物体的情况下将所拿着的物体的尖端错误地识别为手指的问题。
又，专利文献2所记载的手势界面中，与通常的遥控器相比，用户必须穿戴包含投影仪等的装置，存在操作繁琐的问题。
进一步地，专利文献2所记载的手势界面中，因为固定了投影仪，所以虽然能够通过反光镜手动变更投影位置，但存在如果不将手掌保持在投影位置上就不能将拨号盘投影于手掌的问题。
又，专利文献3所记载的系统中，因为固定了投影仪的投影方向，所以为了在检测出的手掌上显示图像，必须使用能够投影规定的区域的整体的大型投影仪。
因此，本发明的目的在于，提供一种能够解决上述问题的信息输入装置。
又，本发明的目的在于，提供一种能够追踪被检测对象，改变输入用图像的投影位置，检测对输入用图像的信息输入的信息输入装置。
又，本发明的目的在于，提供一种能够追踪用户的对象部位的位置，并将信息输入图像显示于对象部位的信息输入装置。
又，本发明的目的在于，提供一种能够可靠地识别指尖，防止误检的信息输入装置。
进一步地，本发明的目的在于，提供一种即使在佩戴戒指或手表等装饰品的情况下，也能够可靠地识别指尖，防止误检的信息输入装置。
又，本发明的目的在于，提供一种能够不用穿戴确定的装置，而利用用户身体的一部分来进行信息输入的信息输入装置。
进一步地，本发明的目的在于，提供一种即使在佩戴戒指或手表等装饰品的情况下，也能够可靠地识别指尖，防止误检的信息输入装置。
一种信息输入装置，其特征在于，包括：投影部，其投影输入用图像；投影位置变更部，其变更输入用图像的投影位置；检测传感器，其检测出被检测对象的位置；和信息检测部，其追踪通过检测传感器检测出的被检测对象的位置，使投影位置变更部改变输入用图像的投影位置，并基于由检测传感器得到的数据，检测出对输入用图像的信息输入。
进一步优选地，信息输入装置中，检测传感器具有红外线传感器。
进一步优选地，信息输入装置中，检测传感器具有颜色检测传感器。
进一步优选地，信息输入装置中，信息检测部控制投影位置变更部，并控制使得输入用图像被投影到被检测对象。
进一步优选地，信息输入装置中，信息检测部通过基于由检测传感器得到的数据，确定输入用图像上的被检测对象的位置，来检测出对输入用图像的信息输入。
进一步优选地，信息输入装置中，投影部具有利用MEMS镜出射光束的出射部。
进一步优选地，信息输入装置中，投影部具有以微显示方式出射光束的出射部。
进一步优选地，信息输入装置中，投影位置变更部包括：第一旋转轴，其用于实行投影部的摇摄动作；和第二旋转轴，其用于实行投影部的倾斜动作。
一种信息输入装置，包括：投影部，其对包含输入按钮的信息输入图像进行投影；颜色检测传感器，其用于检测颜色；控制部，其基于由颜色检测传感器得到的数据来确定指尖位置，并判断已执行基于与指尖位置对应的所述输入按钮的信息输入。
进一步优选地，信息输入装置中，还具有检测深度的深度检测传感器，控制部在确定的所述指尖位置的深度与被投影面上的指尖位置的深度大致相等的情况下，判断为已执行基于输入按钮的信息输入。
进一步优选地，信息输入装置中，还包括存储部，其基于由深度检测传感器得到的数据，预先记录通过投影部而将信息输入图像投影到被投影面上的深度。
进一步优选地，信息输入装置中，基于由颜色检测传感器得到的数据，控制部确定判断为具有规定颜色的物体，在确定的物体中，将具有相同深度数据的物体作为一个侵入物体来识别。
进一步优选地，信息输入装置中，基于侵入到已识别的所述侵入物体的检测区域的侵入位置，控制部确定指尖位置。
又，一种信息输入装置，其特征在于，包括：投影部，其对包含输入按钮的信息输入图像进行投影；颜色检测传感器，其用于检测颜色；控制部，其基于检测深度的深度检测传感器、颜色检测传感器及由深度检测传感器得到的数据来确定用户的对象部位的位置，并控制投影部，并控制使得信息输入图像被投影到对象部位。
进一步优选地，在已确定的指尖位置深度与对象部位深度大致相等的情况下，控制部判断为已执行基于输入按钮的信息输入。
进一步优选地，信息输入装置中，还包括存储部，其基于由深度检测传感器得到的数据，预先记录由投影部投影的信息输入图像的空间基准位置深度。
进一步优选地，信息输入装置中，对象部位是用户的手掌。
进一步优选地，信息输入装置中，投影部包含使用空间光相位调制器的、使用MEMS镜的、或光纤扫描型的出射部。
信息输入装置中，因为基于由颜色检测传感器得到的数据来确定指尖位置，所以可以可靠地识别指尖并防止误检。
进一步地，信息输入装置中,因为基于由颜色检测传感器及深度检测传感器得到的数据来确定指尖位置，所以即使在佩戴戒指或手表等装饰品的情况下，也能够可靠地识别指尖并防止误检。
又，信息输入装置中，因为能够将信息输入图像投影到用户的身体一部分，并利用身体的其他部分来进行基于信息输入图像的信息输入，所以即使不穿戴确定的装置，也能够简单且容易地进行信息输入。
进一步地，信息输入装置中，因为基于由颜色检测传感器得到的数据来确定指尖位置，所以能够可靠地识别指尖并防止误检。
进一步地，信息输入装置中，基于由颜色检测传感器及深度检测传感器得到的数据来确定指尖位置，所以即使在佩戴戒指或手表等装饰品的情况下，也能够可靠地识别指尖并防止误检。
附图说明
图1是示出信息输入装置1的外观的立体图。
图2是示出信息输入装置1的构成的概略框图。
图3是示出用于信息输入装置1的初始设定的控制流程的一个示例的图。
图4是示出显示于显示器上的、RGB彩色影像识别用摄像机21所拍摄的图像的一个示例的图。
图5是用于对被投影面上的深度数据进行说明的图。
图6（a）是示出照射装置30投影的信息输入图像的一个示例的图。
图6（b）是示出照射装置30投影的信息输入图像的另一示例的图。
图7是示出信息输入装置的控制流程的一个示例的图。
图8是示出控制部50确定的肉色区域90～92的一个示例的图。
图9是示出控制部50分组的侵入物体90的一个示例的图。
图10是示出信息输入装置1的信息输入的另一示例的图。
图11是示出信息输入装置1的信息输入的又一示例的图。
图12是示出信息输入装置1的信息输入的又一示例的图。
图13（a）是用于对信息输入装置1的信息输入画面的移动控制的一个示例进行说明的图。
图13（b）是用于对信息输入装置1的信息输入画面的移动控制的另一示例进行说明的图。
图14（a）是用于对信息输入装置1的投影图像的图像处理的一个示例进行说明的图。
图14（b）是用于对信息输入装置1的投影图像的图像处理的另一示例进行说明的图。
图15是用于对信息输入装置1的投影图像的旋转处理进行说明的图。
图16是示出信息输入装置1的侵入物体的侵入方向的图。
图17是示出信息输入装置100的外观的立体图。
图18是示出信息输入装置100的构成的概略框图。
图19是示出用于初始设定的控制流程的一个示例的图。
图20是示出显示于显示器上的、RGB彩色影像识别用摄像机121所拍摄的图像的一个示例的图。
图21是用于对基准区域深度数据进行说明的图。
图22是示出激光投影仪130投影的信息输入图像的示例的图。
图23是示出手掌的检测流程的一个示例的图。
图24（a）是用于对手掌的确定进行说明的图（1）。
图24（b）是用于对手掌的确定进行说明的图（2）。
图24（c）是用于对手掌的确定进行说明的图（3）。
图25是示出信息输入控制流程的一个示例的图。
图26是示出侵入物体180和另一侵入物体190的一个示例的图。
图27是示出信息输入装置300的构成的概略框图。
图28是用于对使用图1所示的信息输入装置1进行说明的图。
图29是示出图1所示的云台10及照射装置30的构成示例的图。
图30是图29所示的投影头31的一个示例的图。
图31是图29所示的投影头31的另一示例的图。
图32是图29所示的投影头31的又一示例的图。
具体实施方式
下面，参见附图，对信息输入装置进行说明。但是，本发明的技术范围并不限于这些实施方式，而是涉及权利要求书中所记载的发明及其等同物。此外，在附图说明中，对同一或者相当元件标注同一符号，并省略重复的说明。又，为了进行说明，对比例尺进行适当变更。
图1是示出信息输入装置1的外观的立体图，图2是示出信息输入装置1的构成的概略框图。
信息输入装置1由包含云台10、检测部20、照射装置30、控制部50等而构成。
云台10被固定于未图示的架台上，并由包含基部11、基于第一电动机15在θ方向上旋转的第一旋转部12及基于第二电动机16在φ方向上旋转的第二旋转部13而构成。
检测部20被固定于未图示的架台上，并包含RGB彩色影像识别用摄像机21、红外线摄像机22及红外线照射光发光部23等。RGB彩色影像识别用摄像机21拍摄检测区域80中的图像，并输出已拍摄的图像的每个像素的位置坐标数据及RGB数据。红外线摄像机22接收由红外线照射光发光部23照射的红外线从存在于识别区域80中的物体反射出的反射光，并输出已拍摄图像的各个像素的位置坐标数据及深度数据（与红外线摄像机22和像素之间的距离对应的数据）。此外，RGB彩色影像识别用摄像机21和红外线摄像机22具有相同的检测区域80及相同的分辨率。
照射装置30由使用RGB各色发光激光的超小型投影仪构成，并被安装在云台10的第二旋转部13。根据从控制部50接收到的图像数据，照射装置30将作为输入用图像的信息输入图像70投影到作为被投影面的桌子40的上表面上。此外，如果能够投影规定的信息输入图像的话，可以使用采用RGB各色发光激光的超小型投影仪以外的照射装置。
图1的示例中，虽将桌子40的上表面作为被投影面，也可以使用地板、墙壁、板材等，用户的指尖能够接触且可以投影规定的信息输入图像的物体。
控制部50由CPU51、RAM52、ROM53，以及用于在云台10、检测部20、照射装置30与被操作装置60之间进行数据收发的I/O54等构成。控制部50对用指尖触碰照射装置30照射在桌子40上的信息输入图像70的情况进行判断，并实行将输入的信息输入数据输出到被操作装置60等的处理。
控制部50被配置成能够基于控制数据控制第一电动机15及第二电动机16，将信息输入图像70投影到桌子40的上表面的希望位置处。此外，控制部50也可以设有HD等其他存储介质。如果控制部50控制第一电动机15使第一旋转部12在θ方向上旋转，信息输入图像70就朝箭头A的方向移动。如果控制部50控制第二电动机16使第二旋转部13在φ方向上旋转，信息输入图像70就朝箭头B的方向移动。
被操作装置60可以为电视，无线电收音机，CD、DVD或者BD等各种存储介质的记录播放装置，基于信息输入数据实行各种处理。
图3是示出用于信息输入装置1的初始设定的控制流程的一个示例的图。
图3所示的控制流程是按照预先存储在控制部50的ROM53的程序，控制部50的CPU51对云台10、检测部20及照射装置30进行控制并加以执行。
通过I/O54，将未图示的显示器及操作部（键盘及鼠标）安装于控制部50，使基于由检测部20得到的RGB数据的影像显示在显示器上，用户利用操作部来指定被投影面位置（S10）。将表示指定的被投影面范围的位置坐标数据记录于RAM52等。
图4是示出在显示器上显示的、基于由检测部20得到的RGB数据的影像的一个示例的图。例如，通过指定图4的C1～C4四点，将桌子指定为被投影面。此外，在能够明确地判别被投影面与背景之差的情况下，利用公知的图像处理技术，控制部50也可以按自动地指定被投影面的方式来构成。又，在检测部20拍摄的全范围为被投影面的情况下，也可以省略本步骤（S10）。
然后，控制部50取得由检测部20得到的深度数据（S11），将作为被投影面指定的区域所包含的每个像素的深度数据记录到RAM52（S12）。
图5是用于对被投影面上的深度数据进行说明的图。如图5所示,位于检测部20的正下方的桌子40上的点D1与位于远离检测部20的位置的桌子40上的点D2，虽然在相同的桌子40上，但在由检测部20得到的深度数据上显现出差异。因此，对于被投影面的全部像素，预先取得位置坐标数据及深度数据并加以记录。
然后，控制部50将规定的图像数据发送到照射装置30，使基准投影图像71投射到被投影面上，将规定的控制数据发送云台10并控制云台10，使基准投影图像71移动（S13）。如图4所示，基准投影图像71是显示于圆形的范围之内的五个黑点。此外，图4所示的基准投影图像71仅为一个示例，也可以利用其它的图像。又，图4中的基准投影图像71-1位于云台10的正下方，是被投影于本示例的基准位置的图像。此外，云台10与被投影面的位置关系以及投影图像的基准位置等可以根据状况来适当决定。
然后，控制部50取得由检测部20得到的位置坐标数据及RGB数据（S14）。
然后，控制部50利用五个黑点来确定基准投影图像71的位置，将发送到云台10的控制数据与确定的基准投影图像71的位置坐标数据的关系记录在构成于RAM52上的数据列表中（S15）。
控制部50重复实行上述的S13～S15（S16），即以规定的间隔使基准投影图像移动，以覆盖被投影面整体。图4中，虽显示了基准投影图像71-2～71-7，但所述仅为一个示例，也可以适当地选择为确定位置而移动基准投影图像的1次的移动量等。
控制部50通过重复规定次数S13～S15，对于被投影面的全部区域，完成表示投影图像的位置坐标数据与控制数据的对应关系的数据列表（S17）。控制部50通过使用数据列表，在指定的被投影面上的任意位置上，能够控制云台10使投影图像移动。相反地，通过使用数据列表，控制部50也可以确定当前投影的投影图像在被投影面上的位置。
图6是示出照射装置30投影的信息输入图像的示例的图。图6（a）所示的信息输入图像70中，包含有录像机的播放按钮72、快进按钮73、快退按钮74、选上一频道按钮75、选下一频道按钮76。在分别用虚线围成的区域中，存在如后述的指尖位置的情况下，判断为已执行各按钮所对应的信息输入。图6（b）示出另一信息输入图像70'。另一信息输入图像70'除了图6（a）所示的按钮，还包含有用于旋转信息输入图像70'的旋转按钮77。此外，图6所示的信息输入图像仅为一个示例，照射装置30基于由控制部50得到的图像数据，可以投影各种各样的信息输入图像。
控制部50基于发送到照射装置30的图像数据，能够对信息输入图像所包含的输入按钮的种类及信息输入图像中的配置位置进行判断。进一步地，控制部50基于发送到云台10的控制数据及在图3的S17中制作而成的数据列表，能够确定信息输入图像在被投影面上的位置。因而，控制部基于发送到照射装置30的图像数据及发送到云台10的控制数据，能够确定各输入按钮在被投影面上的位置。
图7是示出信息输入装置的控制流程的一个示例的图。
图7所示的控制流程是按照预先存储在控制部50的ROM53的程序，控制部50的CPU51对云台10、检测部20及照射装置30进行控制并加以执行。
一开始，控制部50取得发送到照射装置30的图像数据及发射到云台10的控制数据（S20）。然后，控制部50由检测部20取得RGB数据及深度数据（S21）。此外，S20与S21的顺序也可以相反。
然后，控制部50基于在S21中取得的RGB数据，确定存在具有肉色的像素的区域（S22）。
然后，控制部50基于在S21中取得的深度数据，对存在具有肉色的像素的区域中具有大致相同的深度数据的肉色区域进行分组（S23）。控制部50将由检测部20取得的RGB数据转换为由色调(H；0～360°)、彩度（S；0～255）、亮度（V；0～255）组成的HSV数据，并将存在于H为0～30°，S为80～255，V为0～255的范围中的像素识别为肉色。此外，判断为肉色的H、S、V的值仅为一个示例，也可以使用其他的值。
图8是示出控制部50确定的3个肉色区域91～93的一个示例的图。图8中，虽然在S22中将用户右手已侵入的状态显示于被投影面上，但是因为无名指的戒指及手表不是肉色，所以成为了检测出三个肉色区域的状态。因此，控制部50对在S12中记录的被投影面的深度数据和在S21中取得的深度数据取差分，并通过提取差分在规定范围内（例如，10mm以内）的像素，检测出侵入物体90的区域。然后，控制部50将存在于侵入物体90的区域范围内的三个肉色区域91～93判断为同一组（S23）。通过S22及S23的处理，即使用户佩戴戒指或手表等装饰品，或者握着什么东西，也能够很好地识别用户的比手腕更前端的部分。
然后，控制部50基于在S23中进行分组的侵入物体，确定侵入物体侵入到被投影面的侵入位置及指尖位置。
图9是示出控制部50分组的侵入物体90的一个示例的图。控制部50判断出侵入物体90已从被投影面的一边40a侵入到被投影面，并确定侵入位置E1及E2。侵入位置E1及E2相当于侵入物体90与被投影面的一边40a的接点。然后，在与被投影面的一边40a相垂直地，从侵入位置E1及E2的中点引一条直线的情况下，控制部50将位于最远离被投影面的一边40a的、并与侵入物体90所包含的肉色区域相接的点E3确定为指尖位置。
此外，从侵入位置E1及E2的中点，在与被投影面的一边40a相垂直的方向上，也可以将存在于最远离被投影面的一边40a的位置的侵入物体90所包含的肉色区域确定为指尖位置。基于上述侵入位置的指尖位置的确定方法仅为一个示例，也可根据利用侵入位置E1及E2的其他方法来确定指尖位置。
然后，控制部50对侵入物体90是否进行信息输入操作实施判断（S25）。即使在检测部20的检测区域80中存在侵入物体，也可能存在仅仅只是侵入，而非打算进行信息输入操作的情况。因此，本控制流程中，在指尖位置位于被投影面上的情况下，判断为侵入物体90的指尖位置E3进行信息输入操作。指尖位置是否位于被投影面上是基于在图3的S12中预先取得的被投影面的深度数据与指尖位置的深度数据的差是否在规定阈值以内（例如，10mm以内）来进行判断的。即，指尖位置E3的深度数据与存在指尖位置E3的位置坐标的被投影面深度数据的差在规定阈值以内的情况下，控制部50判断为打算在指尖位置E3进行信息输入操作。
此外，由于抖动等，指尖位置E3的深度数据有可能在短期间内发生变动。因而，为了防止误检，也可以在持续规定时间（例如，1s）以上且指尖位置E3的深度数据与存在指尖位置E3的位置坐标的被投影面深度数据之差在规定阈值以内的情况下，判断为有信息输入。
在S25中，判断为意图在指尖位置E3进行信息输入操作的情况下，控制部50基于发送到照射装置30的图像数据和发送到云台10的控制数据，对信息输入图像70所包含的各个输入按钮在被投影面上的位置进行确定(S26)。
然后，控制部50基于在S24中确定的指尖位置E3以及在S26中确定的各个输入按钮在被投影面上的位置，确定信息输入内容（S27）。例如，在指尖位置E3的坐标位于图6（a）的播放按钮72的范围内的情况下，控制部50将信息输入内容确定为“播放”。又，不存在与指尖位置E3的位置坐标数据一致的输入按钮的情况下，既可以将其确定为不存在信息输入内容，也可以判断为存在如后面叙述的其他信息输入（信息输入图像的位置移动等）。
然后，控制部50实行与在S27中确定的信息输入内容对应的处理（S28），并结束一系列的处理。例如，确定的信息输入内容为“播放”的情况下，控制部50将用于“播放”的信号发送到连接的被操作装置60。此外，在S25中，在被判断为没有信息输入的情况下，也结束一系列的处理。控制部50每隔规定时间重复实行如图7所示的控制流程。
根据重复实行图7所示的控制流程，通过用户拿指尖去触摸投影到被投影面的信息输入图像70的规定输入按钮（例如播放按钮72），能够不使用遥控器等机器而实行“播放”的信息输入。
使用图10～图12对信息输入装置1的信息输入的另一示例进行说明。
图10所示的示例中显示了如下的动作：在信息输入图像位于待机位置（70-1）的情况下，一旦用户的指尖触摸到被投影面上，信息输入图像就移动到指尖触摸到的位置（70-2），从而容易进行之后的信息输入。即，一旦信息输入装置1检测出用户的指尖，信息输入图像70就以追踪指尖的方式进行移动。
例如，图7的S27中，不存在与指尖位置E3对应的输入按钮的情况下，判断为如图10所示的移动指示，控制部50控制云台10，并控制使得信息输入图像70移动到指尖位置E3的附近。此外，为了与其他的信息输入相区别，也可以在用户于短间隔（例如1s以内）内两次以上用指尖触摸到被投影面上的情况下，确定为存在如图10所示的信息输入图像的移动指示。
图11所示的示例中显示了如下的动作：在信息输入图像位于待机位置（70-3）的情况下，用户拿指尖触摸信息输入画面的没有输入按钮的部分（参见图6（a）的区域78），抓住信息输入图像并保持那样移动到面前的位置（70-4）。
例如，图7的S27中，虽然不存在与指尖位置E3对应的输入按钮，但是在指尖位置E3位于信息输入图像70的区域内的情况下，判断为如图11所示那样的移动指示。因而，控制部50每隔规定时间（例如每100ms）检测出指尖位置E3并控制云台10，且控制使得信息输入图像70移动到检测出的指尖位置E3。此外，为了与其他的信息输入相区别，也可以在用户于规定时间（例如2s）以上用指尖触摸被投影面上的情况下，确定为存在如图11所示的信息输入图像的移动指示。
图12所示的示例示出了在信息输入图像位于规定位置（70-5）的情况下，用户拿指尖触摸信息输入画面的没有输入按钮的部分（参见图6（a）的区域78），并保持那样向箭头F的方向进行慢动作的情况。在这种情况下，将信息输入图像移动到仅向箭头F的方向移动了规定距离的位置（70-7）。
例如，图7的S27中，虽然不存在与指尖位置E3对应的输入按钮，但是在指尖位置E3位于信息输入图像70的区域内的情况下，将指尖位置E3确定为规定时间中不相同的位置（从70-5到70-6）的情况符合上述情况。在这种情况下，控制部50根据上述位置求出方向F，并以仅将信息输入画面向方向F移动规定距离的方式来进行控制。
图13是用于对信息输入装置1的信息输入画面的移动控制进行说明的图。
图13（a）示出了例如图10中信息输入画面从t1时刻的70-1移动到t4时刻的70-2的情况的移动速度与时间的关系。图13（a）的示例中，控制部50按如下方式控制云台10的电动机：在t1时刻到t2时刻之间以规定的加速度进行加速，其后以固定的速度v1进行移动，然后在t3时刻到t4时刻之间以固定的加速度进行减速。由此，信息输入画面移动到t4时刻的70-2的位置。
如果像图13（a）那样移动的话，因为在t2时刻和t3时刻附近大幅度地切换加速度，所以产生不了信息输入画面平滑移动的印象。因此，图13（b）的示例中，t1时刻与t2'时刻之间、t3'时刻与t4时刻之间进行两个阶段的加速度变化，以给用户带来信息输入画面平滑移动的印象的方式进行控制。图13（a）和图13（b）的移动控制方法能够用于基于控制部50的信息输入图像的投影位置的移动。
图14是用于对信息输入装置1的投影图像的图像处理进行说明的图。
如图14（a）所示，因为图1所示的示例中照射装置30的位置被固定且桌子40是平面，所以在φ方向上移动了云台的情况下的投影图像（70-9）以及在θ和φ方向上移动了云台的情况下的投影图像（70-10）相对于照射装置30的正下方的投影图像（70-8）出现歪斜。
因此，像图14（b）所示的投影图像70-9'和70-10'那样，将由控制部50得到的图像数据用公知的图像处理方法进行处理，使投影的图像自身预先变形，由此能够进行构成，以使被投影面上的任一位置也能投影出相同的投影图像。
图15和图16是用于对信息输入装置1的投影图像的旋转处理进行说明的图。
像图14（b）的投影图像70-10'那样，即使以不使投影图像歪斜的方式来进行处理，也会因为云台10旋转照射装置30而移动投影图像位置，导致投影图像根据被投影面上的位置不同而朝向不同。因此，像图15的投影图像70-10''那样，能够以使朝向也改变的方式来处理。此外，朝向优选为从检测出的用户的指尖位置的方向来看是正确的方向。
图16是示出侵入物体的侵入方向的图。图16所示的侵入物体90与图9所示的情况相同。基于与桌子40的一边40a的接点E1和E2，确定侵入物体90的指尖位置E3。因而，检测出指尖位置E3的情况下，以从一边40a一侧来看是正确的方向（参见箭头G）的方式来旋转信息输入图像。
基于与桌子40的一边40a和另一边40b的接点E4和E5，确定侵入物体94的指尖位置E6。因而，检测出指尖位置E6的情况下，以从一边40a与另一边40b之间的拐角一侧来看是正确的方向（参见箭头H）的方式来旋转信息输入图像。
同样地，基于与桌子40的一边40b的接点E7和E8，确定侵入物体95的指尖位置E9。因而，检测出指尖位置E9的情况下，以从一边40b侧来看是正确的方向（参见箭头I）的方式来旋转信息输入图像。如上所述，以从一边40b侧来看是正确的方向的方式来旋转图15所示的投影图像70-10''。
图15和图16的示例中，控制部50判断侵入物体的侵入方向，以从规定方向来看是正确的方向的方式来处理图像数据。然而，根据用户喜好，也可以设计以与自己相符的朝向来旋转投影图像的输入按钮。将旋转控制用按钮77配置于图6（b）所示的信息输入图像70'。通过用户拿指尖触摸到按钮77，以信息输入图像70'自身旋转到所希望的方向的方式来进行投影。
图17是示出信息输入装置100的外观的立体图，图18是示出信息输入装置100的构成的概略框图。
信息输入装置100由包含有摇摄倾斜架台110、检测部120、激光投影仪130、控制部150等而构成，并被配置于至少设有地板141、天花板142、墙壁143的空间140。空间140既可以为完全封闭的空间，也可以为开放的空间。图17中，作为被操作装置160的一个示例，将带录像机功能的壁挂型液晶电视配置于墙壁143。
摇摄倾斜架台110被固定于天花板142，并由包含有基部111、通过第一电动机115在θ方向上旋转的第一旋转部112、通过第二电动机116在ψ方向上旋转的第二旋转部113等构成。
检测部120被固定于天花板142，并由包含有RGB彩色影像识别用摄影机121、红外线摄影机122、红外线照射光发光部123等而构成。RGB彩色影像识别用摄影机121拍摄空间140中的图像，并输出已拍摄的图像的每个像素的位置坐标（x，y）数据和RGB数据。红外线摄像机122接收由红外线照射光发光部123照射的红外线从构成存在于空间140中的物体和空间140的构件（地板、墙壁等）反射出的反射光。并且，红外线摄影机122输出拍摄的图像的每个像素的位置坐标（x，y）数据及深度数据（r：与红外线摄影机122和像素之间的距离对应的数据）。此外，RGB彩色影像识别用摄影机121和红外线摄影机122具有相同的检测范围及相同的分别率。
激光投影仪130以将RGB各色发光激光发出的光用光纤导入超小型出射部131的方式而构成，激光投影仪130的出射部131被安装于摇摄倾斜架台110的第二旋转部113。激光投影仪130根据从控制部150接收到的图像数据，将信息输入图像170投影到作为被投影面的手掌上。因为出射部131能够小型且轻重量地构成，所以不使用大规模的驱动架台就可以灵活地移动投影图像。又，激光投影仪130中,因为利用激光来投影图像，所以具有不拘泥于被投影面与激光投影仪130的出射部131之间的距离而可以将良好的图像在被投影面上进行成像的特性（免调焦特性）。此外，如果能够投影规定的信息输入图像，那么也可以采用使用了RGB各色发光激光的投影仪以外的投影装置。
出射部131作为SLM（Spatial Light Modulator：空间光相位调制器）利用使用了LCOS（Liquid Crystal on Silicon）的设备。此外，通过成为使用了MEMS（Micro ElectroMechanical System）镜的点扫描型的出射部或者光纤扫描型的出射部，能够实现出射部131的进一步的小型化。
图17的示例中，将用户左手180（对应于后述的侵入物体）的手掌作为被投影面，但也可以将作为某种程度的平面的、能够识别的用户身体的其他部分作为被投影面。
控制部150由CPU151、RAM152、ROM153，以及用于在摇摄倾斜架台110、检测部120、激光投影仪130与被操作装置160之间进行数据收发的I/O154等构成。控制部150对用用户右手190的指尖触碰激光投影仪130照射在用户左手180的手掌上的信息输入图像170的情况进行判断，并实行将输入的信息输入数据输出到被操作装置160等的处理。
一旦检测出用户左手180的手掌，控制部150就被配置成能够基于控制数据来控制第一电动机15及第二电动机16，将信息输入图像170投影到用户左手180的手掌上。此外，控制部150也可以具有HD等其他存储介质。如果控制部150控制第一电动机115使第一旋转部112在θ方向上旋转，信息输入图像170就向箭头A的方向移动。如果控制部150控制第二电动机116使第二旋转部113在ψ方向上旋转，信息输入图像170就向箭头B的方向移动。即，控制部150追踪作为被检测对象的用户的手掌的位置，改变作为输入用图像的信息输入图像170的投影位置，并且作为基于由所述检测部120得到的数据来检测出对信息输入图像170的信息输入的信息检测部发挥作用。
被操作装置可以是空调器、联网装置、PC、电视、无线电收音机、CD、DVD或BD等各种存储介质的记录播放装置等，是基于信息输入数据实行各种处理的装置。图17的示例中，如上所述，把带录像机功能的壁挂型液晶电视当作被操作装置160。即，信息输入装置100具有作为能够在空间140中使用的各种各样的机器的用户界面（UI）或虚拟控制器的功能。
图19是示出用于初始设定的控制流程的一个示例的图。
图19所示的控制流程是按照预先存储于控制部150的ROM153的程序，控制部150的CPU151对摇摄倾斜架台110、检测部120及激光投影仪130进行控制并加以执行。
通过I/O154，将未图示的显示器及操作部（键盘及鼠标）安装于控制部150，使基于由检测部20得到的RGB数据的影像显示在显示器上，用户利用操作部来指定空间140中的基准位置（S30）。将表示指定的基准位置的位置坐标（x、y）数据记录于RAM152等。
图20是示出显示于显示器上的、基于由检测部120得到的RGB数据的影像的一个示例的图。例如，通过指定图20的L1～L4四点，能够指定空间140的地板143的区域。此外，基准位置并不被限定为地板143的四角，也可以将其他地方当作基准位置。
然后，控制部150取得由检测部120得到的深度数据（S31），将作为基准位置而指定的区域（下面，成为“基准区域”）所包含的每个像素的深度数据记录到RAM152（S32）。
图21是用于对基准区域的深度数据进行说明的图。如图21所示，根据位于检测部120的正下方的地板143上的点M1与位于远离检测部120的位置的地板143上的点M2或M3，虽然在相同的桌子143上，但在由检测部120得到的深度数据上显现出差异。因此，对于基准区域（例如地板143）的全部像素，预先取得位置坐标数据及深度数据并加以记录。
然后，控制部150将规定的图像数据发送到激光投影仪130，使基准投影图像171投射到基准区域上，将规定的控制数据发送到摇摄倾斜架台110并控制摇摄倾斜架台110，使基准投影图像171移动（S33）。如图20所示，基准投影图像171是显示于圆形的范围之内的五个黑点。此外，图20所示的基准投影图像71仅为一个示例，也可以利用其它的图像。又，图20中的基准投影图像171-1位于摇摄倾斜架台110的正下方，是被投影于本示例的基准位置的图像。此外，摇摄倾斜架台110与被投影面的位置关系以及投影图像的基准位置等可以根据状况来适当决定。
然后，控制部150取得由检测部120得到的位置坐标数据及RGB数据（S34）。然后，控制部150利用五个黑点来确定基准投影图像171的位置，将发送到摇摄倾斜架台110的控制数据与确定的基准投影图像171的位置坐标数据的关系记录在构成于RAM152上的数据列表中（S35）。
控制部150按针对各个规定的间隔使基准投影图像移动，以对基准区域的整体进行覆盖的方式来重复实行上述的S33～S35（S36）。图20中，虽显示了基准投影图像171-2～171-10，但所述仅为一个示例，也可以适当决定为了确定位置而移动基准投影图像的1次移动量等。
控制部150通过重复规定次数S33～S35，对于作为基准位置而被指定的区域（例如地板143）的全部区域，完成表示投影图像的位置坐标（x，y）数据及深度数据（r）与控制数据的对应关系的数据列表（S37）。在控制部150控制摇摄倾斜架台110，使得在用后述的方式识别手掌区域200的情况下，根据该位置数据（x、y）和深度数据（r）算出空间140的空间坐标（x、y、z），并使用数据列表将投影图像投影到手掌位置上。
图22是示出激光投影仪130投影的信息输入图像的示例的图。图22所示的信息输入图像170中，包含有录像机的播放按钮172、快进按钮173、快退按钮174、选上一频道按钮175、选下一频道按钮176。在分别用虚线围成的区域中，存在如后述的指尖位置的情况下，判断为已执行各按钮所对应的信息输入。此外，图22所示的信息输入图像仅为一个示例，激光投影仪130基于由控制部150得到的图像数据，可以投影各种各样的信息输入图像。
控制部150基于发送到激光投影仪130的图像数据，能够对信息输入图像所包含的输入按钮的种类及信息输入图像中的配置位置进行判断。进一步地，控制部150基于发送到摇摄倾斜架台110的控制数据及在图19的S37中制作而成的数据列表，能够确定信息输入图像的手掌区域200上的位置。因而，控制部基于发送到激光投影仪130的图像数据及发送到摇摄倾斜架台110的控制数据，能够确定各输入按钮的位置。
图23是示出手掌的检测流程的一个示例的图。
图23所示的控制流程是按照预先存储在控制部150的ROM153的程序，控制部150的CPU151对摇摄倾斜架台110、检测部120及激光投影仪130进行控制并加以执行。
一开始，控制部150由检测部120取得RGB数据及深度数据（S40）。
然后，控制部150基于在S40中取得的RGB数据，确定存在具有肉色的像素的区域（S41）。然后，控制部150基于在S40中取得的深度数据，在存在具有肉色的像素的区域中，对具有大致相同的深度数据的肉色区域进行分组（S42）。控制部150将由检测部120取得的RGB数据转换为由色调(H；0～360°)、彩度（S；0～255）、亮度（V；0～255）组成的HSV数据，并将存在于H为0～30°，S为80～255，V为0～255的范围中的像素识别为肉色。此外，判断为肉色的H、S、V的值仅为一个示例，也可以使用其他的值。
图24（a）是示出控制部150确定的三个肉色区域181～183的一个示例的图。图24（a）中，因为无名指的戒指（184的区域）及手表（185的区域）不是肉色，所以成为了检测出三个肉色区域的状态。因此，控制部150对在S32中记录的基准区域（地板143）的深度数据和在S40中取得的深度数据取差分，并通过提取差分在规定范围内（例如，10mm以内）的像素，检测出侵入物体180的区域。然后，控制部150将存在于侵入物体180的区域范围内的三个肉色区域181～183判断为同一组（S42）。通过S41及S42的处理，即使用户佩戴戒指或手表等装饰品，或者握着什么东西，也能够很好地识别用户的比手腕更前端的部分。
然后，控制部150通过将是否为比手腕更前端的部分（对象部位）的在S42中识别的侵入物体180与预先存储在ROM153等中的图样进行比较，来判断其是否为对象部位（S43）。比如在用户坐着的情况下，有可能识别出多个包含肉色区域的侵入物体（脚、脸、肩等），通过进行图样识别，能够识别出比手腕更前端的部分（对象部位）。此外，图24的示例中，虽然示出进行了对于比用户的左手腕更前端部分的识别的情况，但也可以进行对于比用户的右手腕更前端部分的识别。
在侵入物体是对象部位的情况下，控制部150从侵入物体180中检测出手掌区域200，取得手掌区域的深度数据（S44）并记录于RAM152中。
图24（b）示出识别为对象部位的侵入物体180的外形的图。控制部150引出连结手指的前端位置N1与手腕位置N2及N3的中点N4的直线N5，将中心为在直线N5上且位于手指的前端位置N1和中点N4间距离的1/4的距离处的中心点N6，半径为N6和N5之间的距离的圆形区域当作手掌区域200。此外，决定的手掌区域200方式并不被限定为上述方法，也可采用其他的方式。
然后，控制部150根据手掌区域200的中心点N6的位置数据（x，y）和深度数据（r），算出中心点N6的空间140中的空间坐标（x，y，z）。然后，控制部150利用在图19的S37中制作而成的数据列表，以投影信息输入图像到在手掌区域200中的位置的方式来控制摇摄倾斜架台110（S45），结束一系列的动作。此外，直到对象部位（比手腕更前端的部分）被识别出为止，控制部150以规定时间（例如1秒）间隔实行图23所示的流程。
图24（c）示出了图22（a）所示的信息输入图像170被投影到检测出的手掌区域200的状态。此外，因为投影图像的大小由投影仪30与手掌区域200的距离决定，所以在投影了相同大小的图像的情况下，时常存在没有将信息输入图像170收入手掌区域200中的可能性。因此，本实施示例中，以基于中心点N6的深度数据来进行投影图像自身的扩大/缩小，从而恰好将信息输入图像170收入手掌区域200中的方式来实行控制。即，一旦信息输入装置100检测出用户的手掌，那么为了追踪用户的手掌，使信息输入图像170移动。
图25是示出信息输入的控制流程的一个示例的图。
图25所示的控制流程是按照预先存储于控制部150的ROM153中的程序，控制部150的CPU151对摇摄倾斜架台110、检测部120及激光投影仪130进行控制并加以执行。
一开始，控制部150进行是否识别到对象部位的判断（图23的S43）（S50），仅在识别到对象部位的情况下，进入到下面的步骤。
在识别到对象部位的情况下，控制部150取得发送到激光投影仪130的图像数据及发送到摇摄倾斜架台110的控制数据（S51）。然后，控制部150由检测部120取得RGB数据及深度数据（S52）。此外，S51和S52的顺序也可以相反。
然后，控制部150基于在S52中取得的RGB数据，在图23的S53检测出的侵入物体180所包含的肉色区域以外确定存在具有肉色的像素的其他区域（S53）。然后，控制部150基于在S52中取得的深度数据，对存在具有肉色的像素的其他区域中具有大致相同深度数据的肉色区域进行分组（S54）。此外，关于识别是否为肉色的方法，因为与图23的S51相同，所以对其省略说明。
然后，控制部150基于在S54中进行了分组的其他侵入物体，确定侵入到其他侵入物体的手掌区域200的侵入位置及指尖位置（S55）。此外，虽然有可能存在多个在S54中进行了分组的其他侵入物体，控制部150将仅具有手掌区域200范围中的位置坐标（x，y）的物体当作侵入物体来识别。
图26是示出控制部150在图23的S53中确定了的侵入物体180和在图25的S54中进行了分组的其他的侵入物体190的一个示例的图。控制部150确定侵入到手掌区域200的其他侵入物体190的侵入位置O1及O2。然后，控制部150确定侵入位置O1及O2的中点O3，在从侵入位置O1及O2的中点O3延伸出的垂线O4上且在最远离中点O3的位置处，将与侵入物体190所包含的肉色区域相接的点O5确定为指尖位置。
此外，也可以将在最远离侵入位置O1及O2的中点O3的位置处存在的侵入物体190所包含的肉色区域确定为指尖位置。基于上述的侵入位置的指尖位置的确定方法仅为一个示例，也可以通过其他方法来确定指尖位置。
然后，控制部150对侵入物体190是否实行信息输入操作进行判断（S56）。即使在手掌区域200中存在侵入物体190，也可能存在仅仅只是侵入，而非打算进行信息输入操作的情况。因此，本控制流程中，在指尖位置位于手掌区域200上的情况下，判断为侵入物体190的指尖位置O5实行信息输入操作。指尖位置是否位于手掌区域200上是基于记录在图23的S54中的手掌区域200的深度数据和指尖位置O5的深度数据之差是否在规定阈值以内（例如10mm以内）来进行判断的。
此外，由于抖动等，指尖位置O5的深度数据有可能在短期间内发生变动。因而，为了防止误检，也可以在持续规定时间（例如，1s）以上且指尖位置O5的深度数据与手掌区域200的深度数据之差在规定阈值以内的情况下，判断为有信息输入。
在S56中，判断为意图在指尖位置F5进行信息输入操作的情况下，控制部150基于发送到激光投影仪130的图像数据和发送到摇摄倾斜架台110的控制数据，对信息输入图像170所包含的各个输入按钮在手掌区域200中的位置进行确定(S57)。
然后，控制部150基于在S55中确定的指尖位置O5以及在S57中确定的各个输入按钮在手掌区域200中的位置，确定信息输入内容（S58）。例如，在指尖位置O5的坐标位于图22的播放按钮172的范围内的情况下，控制部150将信息输入内容确定为“播放”。又，也可以在不存在与指尖位置O5一致的输入按钮的情况下，确定为不存在信息输入内容。
然后，控制部150实行与在S58中确定的信息输入内容对应的处理（S59），并结束一系列的处理。例如，确定的信息输入内容为“播放”的情况下，控制部150将用于“播放”的信号发送到连接的被操作装置160。此外，在S56中，在被判断为没有信息输入的情况下，也结束一系列的处理。
在按照图23所示的处理流程识别到对象部位的情况下，实行图25所示的控制流程。因而，通过用户拿指尖去触摸投影到手掌区域200的信息输入图像170的规定输入按钮（例如播放按钮172），能够不使用遥控器等机器而实行“播放”的信息输入。
图23所示的控制流程中，进行是否为对象部位的判断(S43)，从对象部位中检测处手掌区域200并以将信息输入图像投影到手掌区域200的方式来实行控制（S45）。在这里，控制部150优选具有如下功能：进一步地一旦在检测出的对象部位发生了移动的情况下（例如，用户在房间内移动的情况下），为了追踪对象部位，使信息输入图像总是被投影到手掌区域200的追踪功能。
图25所示的控制流程中，所有对象部位在S50中被检测出的情况下，进入到之后的步骤。然而，也可以按以下方式来操作：进行规定的认证，并在仅认证了已注册的用户的情况下，判断其后的信息输入是否被实行。作为认证方法，可考虑基于为了检测出手掌区域而作为侵入物体180被识别的对象部位所包含的手指的指纹认证、手掌的皱纹、血管的配置等的方法。
信息控制装置100虽然仅具有进行信息输入的功能，但也可配置成包含超指向性喇叭，仅在检测出手掌区域200的空间坐标附近，让用户听见声音。
图27是示出信息输入装置300的构成的概略框图。
也可以使用信息输入装置300来代替如图1所示的信息输入装置1及图17所示的信息输入装置100。信息输入装置300中，与信息输入装置1及信息输入装置100的不同之处仅在于检测部320，因为其他构成相同，所以对其省略说明。
检测部320被固定于未图示的架台上，并包含红外线摄像机322及红外线照射光发光部323等。红外线摄像机322接收由红外线照射光发光部323照射的红外线从存在于识别区域80（参见图1）中的物体反射出的反射光，并输出已拍摄图像的每个像素的位置坐标数据。
图1所示的信息输入装置1具有的检测部20中，设有RGB彩色影像识别用摄影机21及红外线摄影机22，并输出已拍摄的图像的每个像素的位置坐标数据及深度数据。然而，信息输入装置300中，仅输出通过红外线拍摄的图像的每个像素的位置坐标数据。这是因为仅使用通过红外线拍摄的图像也能够对用户的手掌或指尖进行识别。此外，信息输入装置300中，因为没有使用深度数据，所以也存在不能正确地把握用户的指尖是否触摸到被投影面（桌子40的上表面，参见图1）的情况，但是，在进行简易判断的情况下，可以适用而没什么问题。
图28是用于对使用了图1所示的信息输入装置1的另一信息输入方法的图。
图1所示的信息输入装置1中，在上述的图10所示的示例中检测用户的指尖，以使信息输入图像70追踪检测出的指尖的方式来进行控制。图27所示的示例中，示出了将信息输入图像70当作大致正方形的形状，作为照亮书的一部分的照明来使用的情况。
一开始，用户用指尖示出书400的想要照亮的地方（参见P1）。于是，信息输入装置1的控制部50用上述的方法检测出用户的指尖（参见P1），以将大致正方形的图像401照射到该处的方式来控制云台10及照射装置30。在以照明为主要目的的情况下，图像401为大致正方形的白色图像。
此外，根据书400的大小等，应照射的地方的大小不相同，所以，优选地，可以通过在被投影面（桌子40的上表面）上移动指尖（参见P2及P3）来变更图像401的大小。即，被投影面作为变更图像401的大小的操作输入范围。
又，在识别区域80中，在用户移动书400的情况下，优选地，以检测部20检测出书400的移动并追踪移动了的书400'的方式来控制云台10及照射装置30，由此，使图像401移动（参见图像401'）。即，信息输入装置1的控制部50识别书400的形状，以不追踪用户的指尖而追踪书400的方式来移动图像401。此外，根据移动了的书400的识别区域80中的位置，如果仅移动照射装置30的话，那么会发生图像401'的形状或朝向不适合用户所希望的书的地方的情况。在这种情况下，如对图14及图15进行的说明，优选地，以对图像401'的形状或方向进行自动调整的方式来进行控制。
图29是示出图1所示的云台10及照射装置30的构成示例的图。此外，图29所示的云台10及照射装置30仅为一个示例，并非限定为上述装置。
云台10包括：固定照射装置30的投影头31的用于倾斜的第二旋转部13、保持了第二旋转部13的用于摇摄的第一旋转部12、保持第一旋转部12的基部11等。
第二旋转部13通过附属于第二电动机16的第一齿轮13-1、第一齿轮13-1咬合的第二齿轮13-2等运转构件，可在φ方向上旋转地保持照射装置30的投影头31。又，第一旋转部12通过第一电动机15使旋转台12-1移动，可在θ方向上旋转地保持第二旋转部13。
照射装置30由固定RGB激光用光纤的光纤尾纤模块34、合成来自于RGB激光用光纤的光的RGB光纤耦合器33、可见单一模式光纤32、投影头31等构成。可见单一模式光纤32具有将用RGB光纤耦合器33合成的光引导至被第二旋转部13保持的投影头31的功能。光纤尾纤模块34与未图示的RGB激光发生装置连接。
图30示出图29所示的投影头31的一个示例的图。
投影头31由照射来自于可见单一模式光纤32的光的照射光学系统31-1、偏光光束分离器31-3、投射光学系统31-4、扩散板31-5、微型显示器31-6等构成。投影头31具有利用来自于可见单一模式光纤32的激光从投射光学系统31-4投射显示于微型显示器31-6的影像的功能。
图31是示出图29所示的投影头31的另一示例的图。
图31所示的另一投影头31'由照射来自于可见单一模式光纤32的光的照射光学系统31-7、双轴扫描MEMS（micro electro mechanical system）镜31-8、投射光学系统31-8等构成。
图32是示出图29所示的投影头31的又一示例的图。
图32所示的又一投影头31''由照射来自于可见单一模式光纤32的光的照射光学系统31-9、水平扫描用第一MEMS镜31-10、垂直扫描用第二MEMS镜31-11、投射光学系统31-12等构成。
权利要求书(按照条约第19条的修改)
1.一种信息输入装置，其特征在于，包括：
投影部，其具有用于投影输入用图像的激光发射部；
投影位置变更部，其用于使所述投影部移动，来变更所述输入用图像的投影位置；
检出传感器，其检测出第一被检测对象及第二被检测对象的位置；和
信息检测部，其追踪通过所述检出传感器检测出的第一被检测对象的位置，通过使所述投影位置变更部移动所述投影部来改变所述输入用图像的投影位置，并基于由所述检出传感器得到的数据，检测出所述第二被检测对象对所述输入用图像的信息输入。
2.如权利要求1所述的信息输入装置，其特征在于，所述检测传感器具有红外线传感器。
3.如权利要求2所述的信息输入装置，其特征在于，所述检测传感器具有颜色检测传感器。
4.如权利要求1-3中的任一项所述的信息输入装置，其特征在于，所述信息检测部控制所述投影位置变更部，并控制使得所述输入用图像被投影到第一被检测对象。
5.如权利要求1所述的信息输入装置，其特征在于，所述信息检测部通过基于由所述检测传感器得到的数据，确定所述输入用图像上的第二被检测对象的位置，来检测出对所述输入用图像的信息输入。
6.如权利要求1-5中的任一项所述的信息输入装置，其特征在于，所述投影部利用所述激光发射部及MEMS镜出射光束。
7.如权利要求1-5中的任一项所述的信息输入装置，其特征在于，所述投影部利用所述激光发射部，以微显示方式出射光束。
8.如权利要求1-7中的任一项所述的信息输入装置，其特征在于，所述投影位置变更部包括：
第一旋转轴，其用于实行所述投影部的摇摄动作；和
第二旋转轴，其用于实行所述投影部的倾斜动作。
说明或声明(按照条约第19条的修改)
修改说明
（按PCT条约第19条作出修改）
一、修改说明
1.基于说明书第49、67～71段及图7，对权利要求1、4、5的部分内容进行了修改，其它部分不变。
2.基于说明书第165～168段及图31、图32，对权利要求6的部分内容进行了修改，其它部分不变。
3.基于说明书第163、164段及图30，对权利要求7的部分内容进行了修改，其它部分不变。
4.不对上述以外的权利要求进行修改
二、提交文件
1.权利要求书修改对照页1份，共1页。
2.权利要求书替换页1份，共2页。

Claims (8)

1.一种信息输入装置，其特征在于，包括：
投影部，其投影输入用图像；
投影位置变更部，其变更所述输入用图像的投影位置；
检出传感器，其检测出被检测对象的位置；和
信息检测部，其追踪通过所述检出传感器检测出的被检测对象的位置，使所述投影位置变更部改变所述输入用图像的投影位置，并基于由所述检测传感器得到的数据，检测出对所述输入用图像的信息输入。
2.如权利要求1所述的信息输入装置，其特征在于，所述检测传感器具有红外线传感器。
3.如权利要求2所述的信息输入装置，其特征在于，所述检测传感器具有颜色检测传感器。
4.如权利要求1-3中的任一项所述的信息输入装置，其特征在于，所述信息检测部控制所述投影位置变更部，并控制使得所述输入用图像被投影到被检测对象。
5.如权利要求1所述的信息输入装置，其特征在于，所述信息检测部通过基于由所述检测传感器得到的数据，确定所述输入用图像上的被检测对象的位置，来检测出对所述输入用图像的信息输入。
6.如权利要求1-5中的任一项所述的信息输入装置，其特征在于，所述投影部具有利用MEMS镜出射光束的出射部。
7.如权利要求1-5中的任一项所述的信息输入装置，其特征在于，所述投影部具有以微显示方式出射光束的出射部。
8.如权利要求1-7中的任一项所述的信息输入装置，其特征在于，所述投影位置变更部包括：
第一旋转轴，其用于实行所述投影部的摇摄动作；和
第二旋转轴，其用于实行所述投影部的倾斜动作。
CN201280029020.0A 2011-06-13 2012-05-31 信息输入装置 Expired - Fee Related CN103620535B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011131098 2011-06-13
JP2011-131098 2011-06-13
JP2011140903 2011-06-24
JP2011-140903 2011-06-24
PCT/JP2012/064217 WO2012173001A1 (ja) 2011-06-13 2012-05-31 情報入力装置

Publications (2)

Publication Number Publication Date
CN103620535A true CN103620535A (zh) 2014-03-05
CN103620535B CN103620535B (zh) 2017-06-27

Family

ID=47356992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280029020.0A Expired - Fee Related CN103620535B (zh) 2011-06-13 2012-05-31 信息输入装置

Country Status (5)

Country Link
US (1) US9229584B2 (zh)
EP (1) EP2720114A4 (zh)
JP (1) JPWO2012173001A1 (zh)
CN (1) CN103620535B (zh)
WO (1) WO2012173001A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472358A (zh) * 2014-10-05 2016-04-06 万明 一种关于视频图像处理的智能终端
CN106028007A (zh) * 2015-03-27 2016-10-12 松下知识产权经营株式会社 影像显示控制装置、影像显示系统以及影像显示控制方法
CN106255941A (zh) * 2014-04-28 2016-12-21 罗伯特·博世有限公司 交互式菜单
CN106484100A (zh) * 2016-09-12 2017-03-08 珠海格力电器股份有限公司 空调器及其控制方法和装置、空调器的线控器
CN109143743A (zh) * 2018-08-22 2019-01-04 上海六联智能科技有限公司 一种可调光智能微型投影仪
CN109416583A (zh) * 2016-07-05 2019-03-01 索尼公司 信息处理装置、信息处理方法及程序
CN109481016A (zh) * 2017-09-13 2019-03-19 韦伯斯特生物官能(以色列)有限公司 以患者面部作为触摸板用户界面
CN111330243A (zh) * 2018-12-18 2020-06-26 上海赢赞数字科技有限公司 一种攀岩墙体感互动方法、控制系统、互动系统
CN111886567A (zh) * 2018-03-07 2020-11-03 日本电气方案创新株式会社 操作输入装置、操作输入方法及计算机可读的记录介质
CN113748291A (zh) * 2020-06-30 2021-12-03 深圳市大疆创新科技有限公司 云台装置及拍摄装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014041938A1 (ja) * 2012-09-12 2016-08-18 シチズンホールディングス株式会社 情報入力装置
EP2939423A1 (en) * 2012-12-28 2015-11-04 Metaio GmbH Method of and system for projecting digital information on a real object in a real environment
AU2014217524B2 (en) * 2013-02-14 2017-02-02 Apple Inc. Flexible room controls
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
JP6171452B2 (ja) * 2013-03-25 2017-08-02 セイコーエプソン株式会社 画像処理装置、プロジェクターおよび画像処理方法
CN105122186A (zh) * 2013-03-27 2015-12-02 夏普株式会社 输入装置
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
JP6141108B2 (ja) * 2013-06-07 2017-06-07 キヤノン株式会社 情報処理装置およびその方法
JP2015025564A (ja) * 2013-07-24 2015-02-05 パナソニック株式会社 空気調和機
US10156937B2 (en) 2013-09-24 2018-12-18 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
CN104618698A (zh) * 2013-11-04 2015-05-13 中国移动通信集团公司 一种终端操控方法及装置
US20160349926A1 (en) * 2014-01-10 2016-12-01 Nec Corporation Interface device, portable device, control device and module
DE102014012516A1 (de) * 2014-01-20 2015-07-23 Beijing Lenovo Software Ltd. Informationsverarbeitungsverfahren und elektrische Vorrichtung
CN103744607B (zh) * 2014-01-20 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
JP6459184B2 (ja) * 2014-02-26 2019-01-30 セイコーエプソン株式会社 表示システム、健康器具、制御装置およびプログラム
US9639887B2 (en) 2014-04-23 2017-05-02 Sony Corporation In-store object highlighting by a real world user interface
US9870058B2 (en) * 2014-04-23 2018-01-16 Sony Corporation Control of a real world object user interface
JP2016005157A (ja) * 2014-06-18 2016-01-12 トヨタ紡織株式会社 操作装置
US10175825B2 (en) * 2014-07-30 2019-01-08 Sony Corporation Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
CN105320258B (zh) * 2014-08-05 2019-01-01 深圳Tcl新技术有限公司 虚拟键盘系统及其键入方法
JP6345540B2 (ja) * 2014-08-29 2018-06-20 株式会社東海理化電機製作所 操作装置
JP6452369B2 (ja) * 2014-09-29 2019-01-16 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6724795B2 (ja) * 2015-02-13 2020-07-15 日本電気株式会社 インターフェース装置
US10670857B2 (en) 2015-02-13 2020-06-02 Nec Corporation Projection device and interface device having mirror which reflects light other than zero-order light toward a projection lens
JP6709022B2 (ja) * 2015-03-13 2020-06-10 シャープ株式会社 タッチ検出装置
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
JP6249248B2 (ja) * 2016-03-10 2017-12-20 パナソニックＩｐマネジメント株式会社 投影装置
JP6790611B2 (ja) 2016-09-02 2020-11-25 富士通株式会社 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム
JP6210466B1 (ja) * 2016-10-31 2017-10-11 パナソニックＩｐマネジメント株式会社 情報入力装置
JP6365727B2 (ja) * 2017-05-19 2018-08-01 株式会社ニコン 認証判定装置及び認証判定方法
JP6451887B2 (ja) * 2018-03-01 2019-01-16 株式会社Ｊｖｃケンウッド 電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206770A1 (en) * 2004-02-09 2005-09-22 Nathanson Harvey C Pocket-pen ultra-high resolution MEMS projection display in combination with on-axis CCD image capture system including means for permitting 3-D imaging
CN101206549A (zh) * 2006-12-20 2008-06-25 敦南科技股份有限公司 可感测旋转与倾斜变化信息的运动侦测装置及方法
CN100465995C (zh) * 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及系统
CN101796474A (zh) * 2007-09-04 2010-08-04 佳能株式会社 图像投影设备及其控制方法
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804212B2 (ja) 1997-09-18 2006-08-02 ソニー株式会社 情報入力装置
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP4589828B2 (ja) 2005-06-28 2010-12-01 日本ソフト開発株式会社 遠隔制御方法及びその遠隔制御装置
US7980704B2 (en) 2005-09-14 2011-07-19 Sony Corporation Audiovisual system including wall-integrated audiovisual capabilities
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
WO2010044204A1 (ja) 2008-10-15 2010-04-22 パナソニック株式会社 光投射装置
WO2010109621A1 (ja) 2009-03-26 2010-09-30 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ及びその制御方法
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8427590B2 (en) * 2009-05-29 2013-04-23 Soraa, Inc. Laser based display method and system
JP2011049865A (ja) 2009-08-27 2011-03-10 Kyocera Corp 携帯端末、投影プログラムおよび投影方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100465995C (zh) * 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及系统
US20050206770A1 (en) * 2004-02-09 2005-09-22 Nathanson Harvey C Pocket-pen ultra-high resolution MEMS projection display in combination with on-axis CCD image capture system including means for permitting 3-D imaging
CN101206549A (zh) * 2006-12-20 2008-06-25 敦南科技股份有限公司 可感测旋转与倾斜变化信息的运动侦测装置及方法
CN101796474A (zh) * 2007-09-04 2010-08-04 佳能株式会社 图像投影设备及其控制方法
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106255941A (zh) * 2014-04-28 2016-12-21 罗伯特·博世有限公司 交互式菜单
CN106255941B (zh) * 2014-04-28 2020-06-16 罗伯特·博世有限公司 交互式菜单
CN105472358A (zh) * 2014-10-05 2016-04-06 万明 一种关于视频图像处理的智能终端
CN106028007B (zh) * 2015-03-27 2019-05-17 松下知识产权经营株式会社 影像显示控制装置、影像显示系统以及影像显示控制方法
CN106028007A (zh) * 2015-03-27 2016-10-12 松下知识产权经营株式会社 影像显示控制装置、影像显示系统以及影像显示控制方法
CN109416583A (zh) * 2016-07-05 2019-03-01 索尼公司 信息处理装置、信息处理方法及程序
CN106484100A (zh) * 2016-09-12 2017-03-08 珠海格力电器股份有限公司 空调器及其控制方法和装置、空调器的线控器
CN109481016A (zh) * 2017-09-13 2019-03-19 韦伯斯特生物官能(以色列)有限公司 以患者面部作为触摸板用户界面
CN109481016B (zh) * 2017-09-13 2024-01-02 韦伯斯特生物官能(以色列)有限公司 以患者面部作为触摸板用户界面
CN111886567A (zh) * 2018-03-07 2020-11-03 日本电气方案创新株式会社 操作输入装置、操作输入方法及计算机可读的记录介质
CN111886567B (zh) * 2018-03-07 2023-10-20 日本电气方案创新株式会社 操作输入装置、操作输入方法及计算机可读的记录介质
CN109143743A (zh) * 2018-08-22 2019-01-04 上海六联智能科技有限公司 一种可调光智能微型投影仪
CN111330243A (zh) * 2018-12-18 2020-06-26 上海赢赞数字科技有限公司 一种攀岩墙体感互动方法、控制系统、互动系统
CN113748291A (zh) * 2020-06-30 2021-12-03 深圳市大疆创新科技有限公司 云台装置及拍摄装置
CN113748291B (zh) * 2020-06-30 2023-05-16 深圳市大疆创新科技有限公司 云台装置及拍摄装置

Also Published As

Publication number Publication date
CN103620535B (zh) 2017-06-27
US9229584B2 (en) 2016-01-05
JPWO2012173001A1 (ja) 2015-02-23
EP2720114A1 (en) 2014-04-16
WO2012173001A1 (ja) 2012-12-20
EP2720114A4 (en) 2015-02-25
US20140104163A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
CN103620535A (zh) 信息输入装置
US10339718B1 (en) Methods and systems for projecting augmented reality content
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
US10955924B2 (en) Individually interactive multi-view display system and methods therefor
CN104583921A (zh) 信息输入装置
CN104793811B (zh) 位置检测系统以及位置检测系统的控制方法
KR100588042B1 (ko) 인터액티브 프레젠테이션 시스템
US20040169639A1 (en) Visible pointer tracking with separately detectable pointer tracking signal
US8970693B1 (en) Surface modeling with structured light
US20170161957A1 (en) Information processing apparatus, display apparatus, information processing method, and program
JP2015111772A (ja) 投影装置
CN108989777A (zh) 投影设备、投影设备的控制方法和非暂时性存储介质
US8113953B2 (en) Image-linked sound output method and device
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN104658462B (zh) 投影机以及投影机的控制方法
JP2014059837A (ja) 位置検出装置及び画像表示装置
US9241141B1 (en) Projection block extraction
KR102333931B1 (ko) 영상 투사 장치 및 그의 동작 방법
US20170227459A1 (en) Information processing apparatus, information processing method, and program
JP5012780B2 (ja) ヘッドマウントディスプレイ
WO2018056196A1 (ja) 表示システム
US20210006930A1 (en) Information processing apparatus, information processing method, information processing system and program
CN103179412A (zh) 图像处理器、图像处理方法以及程序
JP2015159460A (ja) 投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラム
JP2014202885A (ja) プロジェクタおよびプロジェクタ機能を有する電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Japan's Tokyo Tozai Tokyo city Tanashi town six chome 1 No. 12

Applicant after: Citizen Watch Co., Ltd.

Address before: Japan Tokyo Tozai Tokyo city Tanashi town six chome 1 No. 12

Applicant before: Citizen Watch Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170627

Termination date: 20200531

CF01 Termination of patent right due to non-payment of annual fee