CN109871117A - 信息处理装置、显示装置及信息处理系统 - Google Patents

信息处理装置、显示装置及信息处理系统 Download PDF

Info

Publication number
CN109871117A
CN109871117A CN201810567708.3A CN201810567708A CN109871117A CN 109871117 A CN109871117 A CN 109871117A CN 201810567708 A CN201810567708 A CN 201810567708A CN 109871117 A CN109871117 A CN 109871117A
Authority
CN
China
Prior art keywords
information
input mechanism
input
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810567708.3A
Other languages
English (en)
Inventor
佐佐木裕丈
柴田博仁
氷治直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN109871117A publication Critical patent/CN109871117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种信息处理装置、显示装置及信息处理系统，其中信息处理装置具备：图像信息获取机构，从拍摄进行信息输入的输入机构的摄影装置获取该输入机构的图像信息；及制作机构，制作相对于以所述图像信息为基础显示所述输入机构的图像的显示装置的显示信息，所述制作机构根据使用通过所述显示装置显示的所述输入机构而输入的信息，更新相对于该显示装置的显示信息。

Description

信息处理装置、显示装置及信息处理系统
技术领域
本发明涉及一种信息处理装置、显示装置及信息处理系统。
背景技术
以往，一般进行利用纸介质而制作文件等的工作。并且，为了支持或代替该工作，进行了利用虚拟空间的尝试及利用能够电子读入对纸张的电子手写数据的电子笔的尝试等。
专利文献1中记载有在虚拟现实的领域中对虚拟工具操作系统及相关方法以及软件进行说明的内容。在此，关于虚拟工具操作系统的一实施方式，其中具备以生成与用户身体的一部分位置相关的动作信息的方式构成的动作跟踪系统。而且，虚拟工具操作系统还具备以根据动作信息、虚拟工具的位置及虚拟工具的特性而向用户提供触感的方式构成的触觉反馈系统。
并且，专利文献2中记载有具备在文件上能够笔记的笔尖且设置将伴随笔记动作的自己的动作转换为电信号而生成的笔装置的内容。而且，经由通信通道将通过该笔装置生成的电信号发送至主机处理单元，通过主机处理单元识别并存储笔装置的笔记内容。
专利文献1：日本特表2011-509488号公报
专利文献2：日本特开2004-303254号公报
发明内容
并且，如今提倡设成能够直接接触(能够感知、可触摸)无形信息的可触式用户界面。
然而，以往难以电性再现纸介质的操作性及感知性(可触性)。并且，若利用纸介质，则与其他设备的联动较为困难等，还存在纸介质中无法进行的处理。
本发明提供一种电性再现纸介质的操作性及感知性(可触性)，并且还能够实现实现纸介质中困难的处理的信息处理装置等。
方案1所述的发明为信息处理装置，其具备：图像信息获取机构，从拍摄进行信息输入的输入机构的摄影装置获取该输入机构的图像信息；及制作机构，制作相对于以所述图像信息为基础显示所述输入机构的图像的显示装置的显示信息，所述制作机构根据使用通过所述显示装置显示的所述输入机构而输入的信息，更新相对于该显示装置的显示信息。
方案2所述的发明为方案1所述的信息处理装置，其特征在于，所述输入机构具备用于决定该输入机构的位置及姿势的标记，所述信息处理装置还具备决定机构，以通过所述摄影装置拍摄的所述标记的图像信息为基础，决定所述输入机构的位置及姿势。
方案3所述的发明为方案2所述的信息处理装置，其特征在于，所述制作机构根据所述决定机构决定的所述输入机构的位置及姿势，制作按照实际该输入机构的大小及形状显示该输入机构的图像的显示信息。
方案4所述的发明为方案3所述的信息处理装置，其特征在于，所述决定机构还决定用户的手的位置及姿势，所述制作机构根据所述决定机构决定的所述用户的手的位置及姿势，制作按照实际该用户的手的大小及形状显示该用户的手的图像的显示信息。
方案5所述的发明为方案1所述的信息处理装置，其特征在于，还具备：接触检测机构，检测多个所述输入机构彼此或该输入机构与用户的手彼此接触。
方案6所述的发明为方案5所述的信息处理装置，其特征在于，所述制作机构制作将通过多个所述输入机构彼此接触而输入的信息作为补记信息来显示的显示信息。
方案7所述的发明为方案6所述的信息处理装置，其特征在于，还具备保存所述补记信息的保存机构。
方案8所述的发明为方案1所述的信息处理装置，其特征在于，所述制作机构制作在虚拟空间中虚拟显示实际空间中存在的所述输入机构的显示信息。
方案9所述的发明为方案8所述的信息处理装置，其特征在于，所述制作机构区分用户能够使用所述输入机构的感知区域及无法使用该输入机构的非感知区域来制作显示信息。
方案10所述的发明为方案9所述的信息处理装置，其特征在于，所述制作机构在所述感知区域显示所述输入机构。
方案11所述的发明为方案9所述的信息处理装置，其特征在于，所述制作机构制作在所述非感知区域显示始终显示于虚拟空间中的文件的显示信息。
方案12所述的发明为显示装置，其具备：显示信息获取机构，以从拍摄进行信息输入的输入机构的摄影装置获取的该输入机构的图像信息为基础，获取用于显示该输入机构的图像的显示信息；及图像显示机构，以所述显示信息为基础显示图像，所述显示信息获取机构获取显示信息，所述显示信息是根据使用通过所述图像显示机构显示的所述输入机构输入的信息而更新的。
方案13所述的发明为方案12所述的显示装置，其特征在于，所述显示装置为头戴式显示器。
方案14所述的发明为方案12所述的显示装置，其特征在于，所述图像显示机构在虚拟空间中按照实际该输入机构虚拟显示所述输入机构。
方案15所述的发明为信息处理系统，其具备：摄影装置，拍摄进行信息输入的输入机构；显示装置，以显示信息为基础显示图像；及信息处理装置，制作所述显示信息，所述信息处理装置具备：图像信息获取机构，从所述摄影装置获取所述输入机构的图像信息；及制作机构，制作相对于以所述图像信息为基础显示所述输入机构的图像的显示装置的显示信息，所述制作机构根据使用通过所述显示装置显示的所述输入机构而输入的信息，更新相对于该显示装置的显示信息。
方案16所述的发明为方案15所述的信息处理系统，其特征在于，所述输入机构作为形状包含板型及笔型的形状。
方案17所述的发明为方案15所述的信息处理系统，其特征在于，还包含：区域设定机构，决定使用所述输入机构以能够感知的方式进行工作的感知区域。
发明效果
根据本发明的第1方案，能够提供一种电性再现纸介质的操作性及感知性(可触性)，并且还能够实现纸介质中困难的处理的信息处理装置。
根据本发明的第2方案，能够再现输入机构的位置及姿势并进行显示。
根据本发明的第3方案，用户在视觉与触觉之间很难感觉到感觉上的差别。
根据本发明的第4方案，用户在视觉与触觉之间很难感觉到感觉上的差别。
根据本发明的第5方案，用户能够输入文字及图形等。
根据本发明的第6方案，能够显示用户进行输入的文字及图形等。
根据本发明的第7方案，能够再现用户进行输入的状态。
根据本发明的第8方案，能够向用户提供易展开工作的环境。
根据本发明的第9方案，能够模拟性地获得宽的工作空间。
根据本发明的第10方案，能够实现能够感知(可触摸)的用户界面。
根据本发明的第11方案，能够始终显示使用频度高的信息。
根据本发明的第12方案，能够提供一种能够进行电性再现纸介质的操作性及感知性(可触性)的显示的显示装置。
根据本发明的第13方案，不管输入机构的位置、姿势如何，能够重叠显示信息。
根据本发明的第14方案，用户在视觉与触觉之间很难感觉到感觉上的差别。
根据本发明的第15方案，能够提供一种电性再现纸介质的操作性及感知性(可触性)，并且还能够实现纸介质中困难的处理的信息处理系统。
根据本发明的第16方案，能够再现纸和笔的操作性。
根据本发明的第17方案，能够规定使用输入机构进行工作的区域。
附图说明
根据以下附图，对本发明的实施方式进行详细叙述。
图1是表示本实施方式中的信息处理系统的结构例的图。
图2是表示本实施方式中的信息处理装置及显示装置的功能结构例的框图。
图3(a)～图3(b)是表示以标记的图像信息为基础决定输入机构的位置及姿势的方法的图。
图4(a)是表示薄板与笔的笔尖接触的情况的图。图4(b)是表示薄板与用户的手接触的情况的图。
图5(a)～图5(b)是表示补记信息的图。
图6是对信息处理系统的动作进行说明的流程图。
图7是对决定机构根据标记位置决定输入机构等的位置及姿势的处理进行说明的流程图。
图8是对作为多个输入机构彼此检测薄板与笔接触的处理进行说明的流程图。
图9是对检测输入机构与用户的手接触的处理进行说明的流程图。
图10是对在笔尖中设置接触判定用传感器并检测薄板与笔接触的处理进行说明的流程图。
图11是对在薄板上设置接触判定用传感器并检测薄板与笔接触的处理进行说明的流程图。
图12(a)～图12(b)是在本实施方式中比较了在实际空间中用户辨识的桌上的状态及在虚拟空间中用户辨识的桌上的状态的图。
符号说明
1-信息处理系统，10-信息处理装置，20-显示装置，20a-显示画面，30-输入机构，31-薄板，32-笔，40-相机，110-图像信息获取机构，120-决定机构，130-保持机构，140-接触检测机构，150-保存机构，160-制作机构，210-显示信息获取机构，220-图像显示机构，Hd-用户的手，Dr-工作台区域，Hr-非感知区域。
具体实施方式
以下，参考附图对本发明的实施方式进行详细说明。
＜信息处理系统整体的说明＞
图1是表示本实施方式中的信息处理系统1的结构例的图。
如图所示，本实施方式的信息处理系统1具备制作显示信息的信息处理装置10、以显示信息为基础显示图像的显示装置20、进行信息输入的输入机构30、拍摄输入机构30的相机40及表示用户使用输入机构30进行工作的范围的区域设定板50。
信息处理装置10例如为所谓的通用个人计算机(PC)。而且，信息处理装置10在基于OS(操作系统(Operating System))的管理下，通过使各种应用软件动作而进行本实施方式的信息的处理等。
信息处理装置10具备运算机构即CPU(中央处理器(Central Processing Unit))、存储机构即主存储器及HDD(硬盘驱动器(Hard Disk Drive))。在此，CPU执行OS(OperatingSystem、基本软件)及应用程序(应用软件)等各种软件。并且，主存储器为存储各种软件及其执行中所使用的数据等的存储区域，HDD为存储对各种软件的输入数据及来自各种软件的输出数据等的存储区域。
并且，信息处理装置10具备用于与外部进行通信的通信接口。
显示装置20例如为头戴式显示器(HMD：Head Mounted Display)。即，用户在头部佩戴该头戴式显示器，并且观看通过在头戴式显示器内部配设于用户的眼前的显示画面20a显示的图像。显示画面20a例如由液晶显示器及有机电致发光显示器(OELD：organicelectroluminescence display)等具有显示图像的功能的显示器构成。
详细内容进行后述，但输入机构30只要是能够进行信息输入的部件，则并无特别限定。在本实施方式中，输入机构30作为形状包含板型及笔型的形状。
板型输入机构30为用户手持并如对纸那样进行操作的输入装置。形状为薄板状或矩形形状。并且，尺寸并无特别限定，可以是与一般流通的各种纸张尺寸相同的尺寸，也可以不同。并且，例如，优选没有挠性且不易变形的板状。板型输入机构30定义表面和背面。而且，能够稳定地放置于桌子等平面上，在该状态下能够看见表面或背面。板型输入机构30例如为由树脂等构成的长方形板。另外，以后有时将板型输入机构30称为“薄板31”。
笔型输入机构30为用于用户手持且如笔那样进行操作而进行记录的输入装置。形状为笔状，且在前端具有与板型输入机构30进行接触的笔尖32a。即，使笔型输入机构30的笔尖32a接触于板型输入机构30，而能够进行写出文字或画出图形等信息的输入。笔型输入机构30可以是触控笔等，也可以是圆珠笔、铅笔及钢笔等能够实际笔记的笔。另外，以后有时将笔型输入机构30称为“笔32”。
并且，输入机构30并不限于板型及笔型。例如，可以是键盘型、鼠标型、马克杯型及聚酯瓶型。键盘型输入机构30具有通过按下而进行信息输入的多个键。因此，键盘型输入机构30可以是实际键盘。鼠标型输入机构30通过移动而进行光标的移动及按钮的选择等。因此，鼠标型输入机构30可以是实际鼠标。马克杯型输入机构30中能够添加饮料，用户能够实际引用饮料。因此，马克杯型输入机构30可以是实际马克杯。聚酯瓶型输入机构30中填充饮料，且用户能够实际饮用饮料。因此，聚酯瓶型输入机构30可以是实际聚酯瓶。
在本实施方式中，这些输入机构30具备用于决定输入机构30的位置及姿势的标记。“标记”为任意标识。在本实施方式中，“标记”为配设于输入机构30等且从通过相机40拍摄的图像能够决定输入机构30等的位置及姿势的标识。更具体而言，“标记”例如为如一维条码及二维条码那样印刷在平面上的标记。并且，也可以是将LED等发光装置以规定的三维形状配置的标记。预先设定标记的安装位置，且由信息处理装置10保持。标记具有固有ID编号信息，且能够区别各输入机构30。
相机40为摄影装置的一例，例如具备使入射的光会聚的光学系统及检测通过光学系统会聚的光的摄像机构即图像传感器。
光学系统由单一透镜或组合多个透镜而构成。光学系统通过透镜的组合及对透镜表面实施的涂布等消除了各种像差。图像传感器排列CCD(电耦合器件(Charge CoupledDevice))及CMOS(互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))等成像元件而构成。
区域设定板50为区域设定机构的一例，且为用于决定使用输入机构30进行工作的区域的薄板。区域设定板50例如放置于用户进行工作的桌上，而且，输入机构30放置于区域设定板50上。并且，详细内容进行后述，但放置区域设定板50的区域成为实际上感知并使用输入机构30而进行工作的感知区域。
信息处理装置10及显示装置20例如经由DVI(数字视频接口(Digital VisualInterface))连接。另外，代替DVI，也可以经由HDMI(注册商标)(高清晰度多媒体接口(High-Definition Multimedia Interface))或显示端口(DisplayPort)等连接。
并且，信息处理装置10与输入机构30例如经由USB(通用串行总线(UniversalSerial Bus))连接。另外，代替USB，也可以经由IEEE1394或RS-232C等连接。但并不限定于此，也可以是无线LAN(局域网(Local Area Network))及蓝牙(Bluetooth)(注册商标)等无线连接。
而且，信息处理装置10及相机40在图示的例子中通过有线而连接，例如经由USB、IE EE1394及RS-232C连接。由此，通过相机40拍摄的图像的图像信息通过有线传送至信息处理装置10。但并不限定于此，也可以是上述无线连接。
对这种信息处理系统1的概略动作进行说明。
首先，用户使用放置于区域设定板50上的输入机构30进行信息的输入。此时，用户实际上利用用户的手来对输入机构30进行操作。而且，输入机构30由相机40拍摄，且所拍摄的图像信息传送至信息处理装置10。在信息处理装置10中，制作通过显示装置20显示的画面的显示信息。而且，在显示装置20中，与实际空间相同的图像显示于虚拟空间中。即，在虚拟空间中虚拟显示输入机构30。并且，虚拟显示配设输入机构的桌面。而且，还虚拟显示操作输入机构30的用户的手。并且，详细内容进行后述，但也可以设成在虚拟空间中显示实际空间中不存在的物体。而且，用户使用输入机构30而输入的信息显示于该虚拟空间中，且依次被更新。
另外，在此，“实际空间”是指现实世界中的空间，“虚拟空间”是指表示构建于计算机上的模拟了真实世界的世界的空间。
＜信息处理装置10及显示装置20的说明＞
图2是表示本实施方式中的信息处理装置10及显示装置20的功能结构例的框图。另外，在图2中，选择并图示了信息处理装置10及显示装置20所具有的各种功能中与本实施方式有关的部分。
如图所示，本实施方式的信息处理装置10具备从相机40获取图像信息的图像信息获取机构110、决定输入机构30或用户的手的位置及姿势的决定机构120、保持输入机构30的大小/形状等的保持机构130、检测输入机构30彼此或用户的手与输入机构30之间的接触的接触检测机构140、保存通过输入机构30输入的信息的保存机构150以及制作通过显示装置20显示的显示信息的制作机构160。
图像信息获取机构110从拍摄输入机构30的相机40获取输入机构30的图像信息。并且，图像信息获取机构110对显示装置20、区域设定板50及用户的手也获取相机40所拍摄的图像的图像信息。
在该情况下，如图1所示，相机40拍摄存在于实际空间的输入机构30。而且，所拍摄的图像信息从相机40传送至信息处理装置10，并由图像信息获取机构110获取。在该情况下，图像信息为动态图像的图像信息，但例如也可以是每隔1s等以预先设定的短时间间隔拍摄的多个静态图像的图像信息。
决定机构120决定输入机构30的位置及姿势。此时，决定机构120以通过相机40拍摄的标记的图像信息为基础，决定输入机构30的位置及姿势。另外，关于笔32，决定机构120还决定笔尖32a的位置。
图3(a)～图3(b)是表示以标记的图像信息为基础决定输入机构30的位置及姿势的方法的图。在此，图3(a)表示实际标记Ma1。而且，图3(b)表示通过相机40拍摄的图像G0中的标记Ma2。在此，示出了标记Ma1、Ma2为二维条码的情况。
决定机构120比较图3(a)中所示的标记Ma1的实际大小与图3(b)中所示的通过相机40拍摄的图像G0中的标记Ma2的大小及变形状态，计算出从相机40至标记Ma2的距离及标记Ma2的姿势。由此，决定机构120决定输入机构30的位置及姿势。
并且，决定机构120对显示装置20及区域设定板50也决定位置及姿势。在该情况下，显示装置20及区域设定板50也具备标记，决定机构以通过相机40拍摄的标记的图像信息为基础，决定显示装置20及区域设定板50的位置及姿势。并且，该标记具有固有的ID编号信息，能够识别出显示装置20及区域设定板50。
而且，决定机构120还决定用户的手的位置及姿势。在该情况下，与输入机构30相同地，也可以在用户的手上装配标记，但实际上有时比较困难。因此，在此例如，优选可以设成使用三维测量装置等来感测手的形状，由此决定机构120计算出用户的手的位置及姿势。并且，在该情况下，例如，优选一并决定右手或左手的判别结果及手指的关节角度等。而且，对用户的手也赋予ID编号并设成能够识别。作为三维测量装置并无特别限定，能够使用市售的三维测量装置。例如，能够使用Leap Motion公司的Leap Motion、Intel公司的RealSense及Microsoft公司的Kinect等。
保持机构130除了输入机构30的ID编号及标记的安装位置以外，还保持输入机构30的大小/形状等。并且，相同地，对显示装置20及区域设定板50也保持这些ID编号、标记的安装位置及大小/形状等。而且，保持机构130保持用户的手的ID编号、大小/形状等。另外，关于大小/形状，保持机构130以三维模型来保持。并且，关于笔32，保持机构130将笔尖32a的范围信息保持于三维模型内。
接触检测机构140检测多个输入机构30彼此或输入机构30与用户的手彼此接触。
接触检测机构140例如检测如图4(a)所示那样薄板31与笔32的笔尖32a接触。在该情况下，接触检测机构140从通过决定机构120决定的薄板31及笔32的位置及姿势和保持于保持机构130的薄板31及笔32的大小/形状决定笔尖32a的位置及薄板31的范围。而且，当笔尖32a的位置及薄板31的范围为预先设定的距离以下时，接触检测机构140判断为两者接触。另外，当薄板31及笔32中的任一个存在多个时，对这些的所有组合进行相同的处理。
并且，接触检测机构140例如检测如图4(b)所示那样薄板31与用户的手Hd接触。在该情况下，接触检测机构140从通过决定机构120决定的用户的手Hd的位置及姿势和保持于保持机构130的用户的手Hd的大小/形状决定基于手指的输入范围。并且，接触检测机构140从通过决定机构120决定的薄板31的位置及姿势和保持于保持机构130的薄板31的大小/形状决定薄板31的范围。而且，当基于手指的输入范围及薄板31的范围为预先设定的距离以下时，接触检测机构140判断为两者接触。另外，当存在多个薄板31时，对用户的手Hd及这些的所有组合进行相同的处理。另外，基于该手指的输入范围作为用户的食指的前端部分等预先设定的范围来规定。
另外，用户能够选择是否进行基于手的输入。即，使用户进行基于手的输入模式的开启/关闭的切换。而且，当输入模式为开启时，如上所述，接触检测机构140检测薄板31与用户的手Hd接触。另一方面，当输入模式为关闭时，设成不检测薄板31与用户的手Hd接触。
当通过接触检测机构140检测到接触时，保存机构150将通过输入机构30及用户的手Hd输入的信息作为补记信息来保存。这是例如为通过用户输入的笔迹信息。该“补记信息”为通过多个输入机构30彼此接触而输入的信息。并且，“补记信息”中包含通过薄板31与用户的手Hd接触而输入的信息。该补记信息作为通过图像信息获取机构110获取的图像信息的元信息而进行关联。
图5(a)～图5(b)是表示补记信息的图。
如图5(a)所示，补记信息包含所使用的薄板31的ID编号、位置信息及姿势信息。并且，包含所使用的笔32或用户的手的ID编号、位置信息及姿势信息。而且，包含所接触的位置的信息即接触位置信息及接触时刻信息。其中，如图5(b)所示，接触位置信息为由x、y构成的坐标数据，且表示以薄板31的中心位置为基准的薄板31的面上的坐标。由这种补记信息能够再现用户通过笔32进行输入的状态。
返回到图2，制作机构160制作相对于以通过图像信息获取机构110获取的图像信息为基础显示输入机构30的图像的显示装置20的显示信息。并且，此时，制作机构160根据使用通过显示装置20显示的输入机构30而输入的信息，更新相对于显示装置20的显示信息。此时，制作机构160制作在虚拟空间中虚拟显示输入机构30的显示信息。
并且，制作机构160对显示装置20及用户的手也制作在虚拟空间中虚拟显示的显示信息。即，制作机构160制作用于将在实际空间中存在的物体同样显示于虚拟空间中的显示信息。为此，制作机构160根据决定机构120所决定的输入机构30的位置及姿势，制作按照实际输入机构30的大小及形状显示输入机构30的图像的显示信息。而且，制作机构160根据决定机构120所决定的用户的手的位置及姿势，制作按照实际用户的手的大小及形状显示用户的手的图像的显示信息。即，输入机构30及用户的手以与实际空间相同的大小/形状显示于虚拟空间中。
即，制作机构160在虚拟空间中配置上述输入机构30、用户的手及显示装置20的三维模型。此时，在虚拟空间中，以与实际空间中相同的位置及姿势进行配置。而且，以与实际空间相同地的大小及形状进行配置。但关于颜色，在虚拟空间和实际空间中无需一定要使它们一致。并且，若存在补记信息，则将其也显示于薄板31上。由此用户输入的笔记信息显示于薄板31上。
并且，如图2所示，显示装置20具备获取显示信息的显示信息获取机构210及以显示信息为基础显示图像的图像显示机构220。
显示信息获取机构210获取制作机构160制作的图像信息。并且，图像显示机构220以制作机构160制作的图像信息为基础显示图像。图像显示机构220例如为上述显示画面20a。
因此，通过显示装置20显示的画面为上述虚拟空间，图像显示机构220在虚拟空间中按照实际输入机构30虚拟显示输入机构30。并且，对于用户的手也相同，图像显示机构220在虚拟空间中按照实际用户的手虚拟显示用户的手。
＜信息处理系统1的动作的说明＞
接着，对信息处理系统1的动作进行说明。
图6是对信息处理系统1的动作进行说明的流程图。
首先，相机40拍摄显示装置20、输入机构30、区域设定板50及用户的手(步骤101)。所拍摄的图像的图像信息传送至信息处理装置10。
该图像信息由信息处理装置10的图像信息获取机构110获取(步骤102)。
接着，决定机构120以配设于输入机构30的标记的位置等为基础，决定输入机构30的位置及姿势。相同地，决定机构120对显示装置20、区域设定板50及用户的手也决定位置及姿势(步骤103)。
图7是对决定机构120根据标记的位置决定输入机构30等的位置及姿势的处理进行说明的流程图。图7是对步骤103的处理进行更详细说明的图。
在此，首先，从图像提取标记(步骤201)。此时，当存在多个标记时，提取各标记的图像。
然后，从所提取的标记获取ID编号(步骤202)。
而且，以所拍摄的图像中的标记的大小及变形状态为基础，决定输入机构30等的位置及姿势(步骤203)。
然后，更新与ID编号对应的输入机构30等的位置及姿势的信息(步骤204)。
返回到图6，接触检测机构140从ID编号判断所拍摄的图像中是否包含输入机构30(步骤104)。
然后，当不包含时(步骤104中“否”)，转移到步骤107。
相反，当包含时(步骤104中“是”)，接触检测机构140检测多个输入机构30彼此或输入机构30与用户的手彼此接触(步骤105)。
以下，利用图8～图11对接触检测机构140进行的接触检测处理进行说明。该图8～图11是对步骤104的处理进行更详细说明的图。
图8是对作为多个输入机构30彼此检测薄板31与笔32接触的处理进行说明的流程图。
接触检测机构140从笔32的位置及姿势和保持于保持机构130的笔32的大小/形状计算出笔尖32a的位置(步骤301)。
接着，接触检测机构140从通过决定机构120决定的薄板31的位置及姿势和保持于保持机构130的薄板31的大小/形状计算出薄板31的范围(步骤302)。
然后，接触检测机构140判断笔尖32a的位置及薄板31的范围是否为预先设定的距离以下(步骤303)。
其结果，当不是预先设定的距离以下时(步骤303中“否”)，接触检测机构140判断为薄板31与笔32未接触(步骤304)。
相反，当为预先设定的距离以下时(步骤303中“是”)，接触检测机构140判断为薄板31与笔32接触(步骤305)。
并且，图9是对检测输入机构30与用户的手接触的处理进行说明的流程图。
接触检测机构140从用户的手的位置及姿势和保持于保持机构130的用户的手的大小/形状计算出基于手指的输入范围(步骤401)。
接着，接触检测机构140从薄板31的位置及姿势和保持于保持机构130的薄板31的大小/形状计算出薄板31的范围(步骤402)。
然后，接触检测机构140判断基于手指的输入范围及薄板31的范围是否为预先设定的距离以下(步骤403)。
其结果，当不是预先设定的距离以下时(步骤403中“否”)，接触检测机构140判断为薄板31与用户的手未接触(步骤404)。
相反，当为预先设定的距离以下时(步骤403中“是”)，接触检测机构140判断为薄板31与用户的手接触(步骤405)。
此外，还有在笔32的笔尖32a中设置压力传感器及光传感器等接触判定用传感器，并通过利用它们检测接触的方法。
图10是对在笔尖32a中设置接触判定用传感器并检测薄板31与笔32接触的处理进行说明的流程图。
接触检测机构140从笔32的位置及姿势和保持于保持机构130的笔32的大小/形状计算出笔尖32a的位置(步骤501)。
接着，接触检测机构140从通过决定机构120决定的薄板31的位置及姿势和保持于保持机构130的薄板31的大小/形状计算出薄板31的范围，并确定成为对象的薄板31(步骤502)。
然后，接触检测机构140判断设置于笔尖32a中的接触判定用传感器是否有反应(步骤503)。
其结果，当没有反应时(步骤503中“否”)，接触检测机构140判断为薄板31与笔32未接触(步骤504)。
相反，当有反应时(步骤503中“是”)，接触检测机构140判断为薄板31与笔32接触(步骤505)。
另外，在该方法中，接触检测机构140无法检测薄板31与用户的手接触。
此外，还有在薄板31上设置压力传感器及光传感器等接触判定用传感器，并利用它们检测接触的方法。
图11是对在薄板31上设置接触判定用传感器并检测薄板31与笔32接触的处理进行说明的流程图。
接触检测机构140从笔32及手的位置及姿势和保持于保持机构130的笔32及手的大小/形状计算出笔尖32a的位置及基于手指的输入范围(步骤601)。
接着，接触检测机构140从薄板31的位置及姿势和保持于保持机构130的薄板31的大小/形状计算出薄板31的范围(步骤602)。
然后，接触检测机构140判断设置于薄板31上的接触判定用传感器是否有反应(步骤603)。
其结果，当没有反应时(步骤603中“否”)，接触检测机构140判断为薄板31与笔32或手未接触(步骤604)。
相反，当有反应时(步骤603中“是”)，接触检测机构140判断薄板31与笔32或手接触，并保持两者的ID编号(步骤605)。
再回到图6，当接触检测机构140判断为未接触时(步骤105中“否”)，转移到步骤107。
相反，当接触检测机构140判断为接触时(步骤105中“是”)，保存机构150将通过输入机构30及用户的手输入的信息作为补记信息来保存(步骤106)。
接着，制作机构160进行空间计算，且在虚拟空间中，以三维模型来配置显示装置20、输入机构30、用户的手、工作台区域、薄板31上的图像及补记信息(步骤107)。其中，工作台区域为由区域设定板50设定的区域。并且，薄板31上的图像例如为用户用于进行输入的格式，在薄板31上重叠配置。而且，在该情况下，补记信息为格式中用户输入的信息，且对薄板31上的图像进一步重叠配置。即，在薄板31上配置有预先准备的图像及对其添加的补记信息的图像。
而且，制作机构160根据显示装置20的位置及姿势，制作通过显示装置20显示并向用户提示的图像的显示信息(步骤108)。
通过制作机构160制作的显示信息传送至显示装置20，并由显示装置20的显示信息获取机构210获取(步骤109)。
而且，图像显示机构220以显示信息为基础在显示画面20a上显示图像(步骤110)。
图12(a)～图12(b)是在本实施方式中比较实际空间中用户进行辨识的桌上的状态与虚拟空间中用户进行辨识的桌上的状态的图。
在此，图12(a)是在实际空间中观察了输入机构30、用户的手Hd及区域设定板50的图。
在图12(a)中，作为输入机构30，除了上述的薄板31及笔32以外，还使用键盘33及鼠标34。而且，示出了在实际空间中薄板31上没有记载任何信息。而且，通过相机40对其进行拍摄。
并且，图12(b)是表示通过显示装置20显示的图像的图。在此示出了虚拟空间中显示有输入机构30、用户的手Hd及工作台区域Dr的情况。
在图12(b)中，作为输入机构30，显示有薄板31、笔32、键盘33及鼠标34。并且，显示有通过区域设定板50设定的工作台区域Dr及用户的手Hd。输入机构30在实际空间中放置于区域设定板50上，因此在虚拟空间中，显示于工作台区域Dr中。在该情况下，工作台区域Dr作为用户能够使用输入机构30的感知区域而发挥功能。而且，在该情况下，在薄板31上除了用户用于进行输入的格式的图像G1以外，还重叠显示补记信息的图像G2。
并且，在图12(b)中，在工作台区域Dr的周围配设有无法使用输入机构30的非感知区域Hr。在此，在工作台区域Dr的左右显示在虚拟空间中始终显示的文件61。该始终显示的文件61例如为日历及日程表等。并且，在工作台区域Dr的正面显示有虚拟显示器62。该显示器62中作为补记信息显示用户使用键盘33及鼠标34输入的信息。即使在真实世界中只有狭窄的工作空间的情况下，通过设置非感知区域Hr，也能够模拟性地获得宽的工作空间。
＜效果的说明＞
在进行文件的整理、书写及校正等工作的方面上，利用纸介质的优点在于其易处理的操作性上。另一方面，设成能够直接接触无形信息的(能够感知、可触摸)的可触式用户界面中，以往难以再现该纸介质的操作性及感知性(可触性)。并且，当利用PC进行文件的工作时，尤其存在出差地工作效率及工作质量容易下降的问题。即，因文件之间的移动花费时间或需要必要文件的模拟，而工作效率及工作质量容易下降。
另一方面，当为纸介质时，在PC等中可能的复制、粘贴/検索等与其他设备的联动、工作状况的掌握、将显示设为可变等较为困难等，还存在阻碍用户才智发挥的一面。
在此，根据本实施方式，将存在于实际空间中的输入机构30也显示于虚拟空间，然后通过使用实际存在的输入机构30进行文件工作等。由此，在虚拟空间中也能够获得物理反馈从而能够实现能够感知(可触摸)的用户界面。其结果，对用户而言，能够更自然地进行工作。并且，通过虚拟空间显示的输入机构30再现为其大小、形状与实际空间的物体大致相同。因此，对用户而言，操作通过虚拟空间显示的输入机构30时的触觉和操作实际存在的输入机构30时的触觉能够成为感觉上几乎没有差别的状态。因此，用户能够毫无不协调感地操作输入机构30。而且，能够选择现有的输入机构30，因此无需掌握新的操作方法。
并且，当显示用户的手时，其以视觉方式被追加，因此触觉与视觉更容易一致。并且，此时，通过一并再现手指的关节角度等，手的形状的显示变得更正确，且用户观察时的视觉与操作输入机构30时的触觉更不易产生差别。
而且，用户使用自己的身体进行操作，因此更灵活且迅速的工作成为可能，且也变得容易有效利用对输入机构30的位置存储等。
并且，在本实施方式中，用户使用板型输入机构30即薄板31及笔型输入机构30即笔32而进行信息的输入。通过该组合，能够再现现实中的纸和笔的操作性。由此，能够再现在桌上展开使用纸张且能够在纸上用笔迅速补记等的操作性。并且，与以往技术中有的通过振动等模拟性地提示触觉的输入装置相比，在本实施方式中，通过使用实际存在的输入机构30，包括反作用力在内能够提示更正确的触觉，因此也容易进行书写文字等工作中所需的细微的操作。而且，在本实施方式中，可迅速进行信息的更新、变更等，还能够享受处理电信息的优点。
而且，通过将显示装置20设成头戴式显示器，不管输入机构30的位置、姿势如何，能够将信息重叠显示于薄板31等上。而且，在该情况下，还获得视觉干扰及杂音变少等效果，从而使用户容易集中于工作。
而且，在本实施方式中，即便在出差地也容易以与自己位置相同的表现来进行工作，且在狭窄的空间也能够进行工作。
并且，在虚拟空间中，显示于薄板31及显示器62的信息并不显示于实际空间，因此更为安全。
而且，能够实现无纸化，因此能够完全去掉业务日志、能够居家工作、能够实现复制、粘贴等与其他设备的联动等变得轻松。
此外，无办公室化也变得更容易，因此也会产生公司资产的减少、企业的启动、新项目的启动变得容易，可预见远地人材的雇佣等各种人材的有效利用等优点。
另外，在以上说明的方式中，准备区域设定板50，由此设定了工作台区域Dr，但并不限定于此，例如，也可以是配设规定工作台区域Dr四角的LED等的方法。
并且，在以上说明的方式中，通过显示装置20进行了虚拟空间的显示，即，进行了利用VR(Virtual Reality、虚拟现实)的显示，但并不限定于此，也可以利用AR(AugmentedReality、增强现实)或MR(Mixed Reality、混合现实)。
而且，在以上说明的方式中，对文件工作进行了例示，但并不限定于此，例如，也可以适用于模拟或游戏等中。
而且，输入机构30并不限定于上述部件，例如，作为输入机构30，也可以准备立起文件的乐谱架、显示日期的日历、显示时间的钟表、夹文件的夹子或纸夹、规尺、圆规、垫在马克杯下的杯垫、平板电脑终端及智能手机终端等。
＜程序的说明＞
在此，以上进行说明的本实施方式中的信息处理装置10进行的处理例如由应用软件等程序准备。
因此，在本实施方式中，关于信息处理装置10进行的处理以如下方式的程序来理解，即，使计算机实现如下功能：图像信息获取功能，从拍摄进行信息输入的输入机构30的相机40获取输入机构30的图像信息；及制作功能，制作相对于以图像信息为基础显示输入机构30的图像的显示装置20的显示信息，制作功能能够根据使用通过显示装置20显示的输入机构30而输入的信息，更新相对于显示装置20的显示信息。
另外，实现本实施方式的程序当然由通信机构提供，也可以存储于CD-ROM等记录介质中后提供。
以上，对本实施方式进行了说明，但本发明的技术范围并不限定于上述实施方式中所记载的范围。由权要求书中的记载可知，对上述实施方式加以各种变更或改良的方式也属于本发明的技术范围是显而易见的。
上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且，并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。

Claims (17)

1.一种信息处理装置，其具备：
图像信息获取机构，从拍摄进行信息输入的输入机构的摄影装置获取该输入机构的图像信息；及
制作机构，制作相对于以所述图像信息为基础显示所述输入机构的图像的显示装置的显示信息，
所述制作机构根据使用通过所述显示装置显示的所述输入机构而输入的信息，更新相对于该显示装置的显示信息。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述输入机构具备用于决定该输入机构的位置及姿势的标记，
所述信息处理装置还具备决定机构，以通过所述摄影装置拍摄的所述标记的图像信息为基础，决定所述输入机构的位置及姿势。
3.根据权利要求2所述的信息处理装置，其特征在于，
所述制作机构根据所述决定机构决定的所述输入机构的位置及姿势，制作按照实际该输入机构的大小及形状显示该输入机构的图像的显示信息。
4.根据权利要求3所述的信息处理装置，其特征在于，
所述决定机构还决定用户的手的位置及姿势，
所述制作机构根据所述决定机构决定的所述用户的手的位置及姿势，制作按照实际该用户的手的大小及形状显示该用户的手的图像的显示信息。
5.根据权利要求1所述的信息处理装置，其特征在于，还具备：
接触检测机构，检测多个所述输入机构彼此或该输入机构与用户的手彼此接触。
6.根据权利要求5所述的信息处理装置，其特征在于，
所述制作机构制作将通过多个所述输入机构彼此接触而输入的信息作为补记信息来显示的显示信息。
7.根据权利要求6所述的信息处理装置，其特征在于，还具备保存所述补记信息的保存机构。
8.根据权利要求1所述的信息处理装置，其特征在于，
所述制作机构制作在虚拟空间中虚拟显示实际空间中存在的所述输入机构的显示信息。
9.根据权利要求8所述的信息处理装置，其特征在于，
所述制作机构区分用户能够使用所述输入机构的感知区域及无法使用该输入机构的非感知区域来制作显示信息。
10.根据权利要求9所述的信息处理装置，其特征在于，
所述制作机构在所述感知区域显示所述输入机构。
11.根据权利要求9所述的信息处理装置，其特征在于，
所述制作机构制作在所述非感知区域显示始终显示于虚拟空间中的文件的显示信息。
12.一种显示装置，其具备：
显示信息获取机构，以从拍摄进行信息输入的输入机构的摄影装置获取的该输入机构的图像信息为基础，获取用于显示该输入机构的图像的显示信息；及
图像显示机构，以所述显示信息为基础显示图像，
所述显示信息获取机构获取显示信息，所述显示信息是根据使用通过所述图像显示机构显示的所述输入机构输入的信息而更新的。
13.根据权利要求12所述的显示装置，其特征在于，
所述显示装置为头戴式显示器。
14.根据权利要求12所述的显示装置，其特征在于，
所述图像显示机构在虚拟空间中按照实际该输入机构虚拟显示所述输入机构。
15.一种信息处理系统，其具备：
摄影装置，拍摄进行信息输入的输入机构；
显示装置，以显示信息为基础显示图像；及
信息处理装置，制作所述显示信息，
所述信息处理装置具备：
图像信息获取机构，从所述摄影装置获取所述输入机构的图像信息；及
制作机构，制作相对于以所述图像信息为基础显示所述输入机构的图像的显示装置的显示信息，
所述制作机构根据使用通过所述显示装置显示的所述输入机构而输入的信息，更新相对于该显示装置的显示信息。
16.根据权利要求15所述的信息处理系统，其特征在于，
所述输入机构作为形状包含板型及笔型的形状。
17.根据权利要求15所述的信息处理系统，其特征在于，还包含：
区域设定机构，决定使用所述输入机构以能够感知的方式进行工作的感知区域。
CN201810567708.3A 2017-12-04 2018-06-04 信息处理装置、显示装置及信息处理系统 Pending CN109871117A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017232518A JP7087364B2 (ja) 2017-12-04 2017-12-04 情報処理装置、情報処理システムおよびプログラム
JP2017-232518 2017-12-04

Publications (1)

Publication Number Publication Date
CN109871117A true CN109871117A (zh) 2019-06-11

Family

ID=66657999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810567708.3A Pending CN109871117A (zh) 2017-12-04 2018-06-04 信息处理装置、显示装置及信息处理系统

Country Status (3)

Country Link
US (1) US20190171299A1 (zh)
JP (1) JP7087364B2 (zh)
CN (1) CN109871117A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
US10593128B1 (en) 2019-08-20 2020-03-17 Capital One Services, Llc Using augmented reality markers for local positioning in a computing environment
US10614636B1 (en) * 2019-08-20 2020-04-07 Capital One Services, Llc Using three-dimensional augmented reality markers for local geo-positioning in a computing environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980042016A (ko) * 1996-11-01 1998-08-17 모리시다요이치 화상 합성장치, 화상 합성방법 및 매체
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20120044140A1 (en) * 2010-08-19 2012-02-23 Sanyo Electric Co., Ltd. Information display system and program, and optical input system, projection-type images and display apparatus
US20130106799A1 (en) * 2011-10-28 2013-05-02 Atmel Corporation Authenticating with Active Stylus
US20150277583A1 (en) * 2012-11-09 2015-10-01 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US20160334911A1 (en) * 2015-05-13 2016-11-17 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
US20170031341A1 (en) * 2015-07-31 2017-02-02 Fujitsu Limited Information presentation method and information presentation apparatus
WO2017110257A1 (ja) * 2015-12-21 2017-06-29 ソニー株式会社 情報処理装置および情報処理方法
WO2017145423A1 (ja) * 2016-02-25 2017-08-31 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696908B2 (ja) * 2013-02-15 2015-04-08 コニカミノルタ株式会社 操作表示システム
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
JP6479835B2 (ja) * 2014-09-30 2019-03-06 ミラマサービスインク 入出力装置、入出力プログラム、および入出力方法
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980042016A (ko) * 1996-11-01 1998-08-17 모리시다요이치 화상 합성장치, 화상 합성방법 및 매체
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20120044140A1 (en) * 2010-08-19 2012-02-23 Sanyo Electric Co., Ltd. Information display system and program, and optical input system, projection-type images and display apparatus
US20130106799A1 (en) * 2011-10-28 2013-05-02 Atmel Corporation Authenticating with Active Stylus
US20150277583A1 (en) * 2012-11-09 2015-10-01 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US20160334911A1 (en) * 2015-05-13 2016-11-17 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
US20170031341A1 (en) * 2015-07-31 2017-02-02 Fujitsu Limited Information presentation method and information presentation apparatus
WO2017110257A1 (ja) * 2015-12-21 2017-06-29 ソニー株式会社 情報処理装置および情報処理方法
WO2017145423A1 (ja) * 2016-02-25 2017-08-31 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2019101796A (ja) 2019-06-24
JP7087364B2 (ja) 2022-06-21
US20190171299A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
Lee et al. Interaction methods for smart glasses: A survey
Kray et al. User-defined gestures for connecting mobile phones, public displays, and tabletops
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
Grubert et al. Multifi: Multi fidelity interaction with displays on and around the body
CN102906671B (zh) 手势输入装置及手势输入方法
CN101730874B (zh) 基于免接触的手势的输入
Lin et al. Ubii: Physical world interaction through augmented reality
CN101111817B (zh) 电脑鼠标周边装置
CN109871117A (zh) 信息处理装置、显示装置及信息处理系统
CN107003716B (zh) 投射型影像显示装置以及影像显示方法
CN108431729A (zh) 用以增大显示区域的三维对象跟踪
CN102792255A (zh) 图像处理设备、图像处理方法和程序
CN101815980A (zh) 用于全息用户界面通信的方法和设备
CN108027656B (zh) 输入设备、输入方法和程序
CN107077245B (zh) 电子笔，链接到电子笔的电子设备，以及用于控制电子设备的方法
WO2014162604A1 (ja) 電子機器および手書きデータ処理方法
US20130033460A1 (en) Method of notetaking using optically imaging pen with source document referencing
Tong et al. Exploring interactions with printed data visualizations in augmented reality
US20130033429A1 (en) Method of notetaking with source document referencing
US20220084287A1 (en) Information processing apparatus, display device, information processing system, and non-transitory computer readable medium storing program
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
Lik-Hang et al. Interaction methods for smart glasses
Lik-Hang et al. Interaction Methods for Smart Glasses: A Survey
Fang et al. FacialPen: Using Facial Detection to Augment Pen-Based Interaction
JP2013250477A (ja) コンピュータ装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.