CN113646730A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN113646730A
CN113646730A CN202080022245.8A CN202080022245A CN113646730A CN 113646730 A CN113646730 A CN 113646730A CN 202080022245 A CN202080022245 A CN 202080022245A CN 113646730 A CN113646730 A CN 113646730A
Authority
CN
China
Prior art keywords
image
information processing
processing apparatus
wearable device
dial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022245.8A
Other languages
English (en)
Inventor
横山正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113646730A publication Critical patent/CN113646730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

本技术涉及允许使用对其经常穿戴抗拒感低的可穿戴设备来执行操作的信息处理装置、信息处理方法和程序。根据本技术的一个方面的信息处理装置执行以下操作：获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；基于表示根据当前时间所述模块的外观的图像，检测在捕获图像中出现的模块；以及估计可穿戴设备的位置和姿势中的至少一个。例如，本技术可以应用于透射式HMD。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及能够使用对其经常穿戴抗拒感低的可穿戴设备执行操作的信息处理装置、信息处理方法和程序。
背景技术
存在如下技术，该技术用于通过分析摄像机的图像来检测用户穿戴的设备的位置和姿势，并且根据用户的手势控制增强现实(AR)的显示。用户穿戴的设备将用作控制AR显示的AR控制器。
专利文献1公开了如下技术：通过检测在附属于用户佩戴的手环的壳体的四个角处准备的标记来指定壳体上的平面，并且将虚拟立体图像与所指定的平面合成并显示。
引用列表
专利文献
专利文献1：日本专利申请公开特许公报第2000-98300号
发明内容
本发明要解决的问题
在上述技术的情况下，用户需要佩戴专用手环。
由于需要在壳体上印刷诸如标记的复杂纹理，因此有损设备的时尚感。另外，由于需要检测多个标记，因此用于提取特征点的处理量增加。
本技术是鉴于这样的情况而提出的，并且使得能够使用对其经常穿戴抗拒感低的可穿戴设备来执行操作。
问题的解决方案
根据本技术的一个方面的信息处理装置包括：获取单元，其获取通过捕获可穿戴设备的图像而获得的捕获图像，可穿戴设备包括其外观根据时间变化的模块；以及估计单元，其基于指示根据当前时间该模块的外观的图像来检测在捕获图像中出现的模块，并且估计可穿戴设备的位置或姿势中的至少一个。
在本技术的一个方面中，获取通过捕获可穿戴设备的图像而获得的捕获图像，该可穿戴设备包括其外观根据时间变化的模块；基于表示根据当前时间该模块的外观的图像，检测在捕获图像中出现的模块；以及估计可穿戴设备的位置或姿势中的至少一个。
附图说明
图1是示出根据本技术的实施方式的可穿戴设备的佩戴示例的图。
图2是示出手表的外观的正视图。
图3是示出模板图像的示例的图。
图4是示出信息处理终端的配置示例的框图。
图5是示出控制器的功能配置示例的框图。
图6是用于说明校准处理的流程图。
图7是示出引导图像的显示示例的图。
图8是示出生成掩模图像的示例的图。
图9是用于说明位置/姿势估计处理的流程图。
图10是示出模板图像的生成的示例的图。
图11是手表的表盘的放大图。
图12是示出模板图像的示例的图。
图13是示出信息处理终端的配置示例的框图。
图14是用于说明位置/姿势估计处理的流程图。
图15是手表的表盘的放大图。
图16是示出图像处理的示例的图。
图17是手表的表盘的放大图。
图18是示出手表的另一示例的图。
图19是示出信息处理终端的另一示例的图。
图20是示出计算机的配置示例的框图。
具体实施方式
在下文中，将描述用于执行本技术的模式。此外，将按以下顺序给出描述。
1.使用每个时间的模板图像进行匹配的示例
2.使用每个姿势的模板图像进行匹配的示例
3.通过图像处理估计位置和姿势的示例
4.手表的配置
5.其他示例
<<1.使用每个时间的模板图像进行匹配的示例>>
<使用手表作为AR控制器的示例>
图1是示出根据本技术的实施方式的可穿戴设备的佩戴示例的图。
如图1所示，信息处理终端1是包括透射式显示单元的眼镜式可穿戴设备。例如，信息处理终端1使显示单元显示从内置存储器读取或经由因特网获取的各种类型的信息。
信息处理终端1是配备有用于显示叠加在实际场景上的各种类型信息的AR功能的可穿戴设备。用户看到叠加在用户前面的风景上的各种类型的信息，例如字符和图像。
AR功能的显示方法可以是虚拟图像投影方法，或者是直接在用户的眼睛的视网膜上形成图像的视网膜投影方法。另外，被显示以叠加在实际场景上的图像可以是二维图像，或者是诸如字符的对象立体呈现的三维图像。
信息处理终端1设置有捕获佩戴头部的用户前面的图像的摄像机。信息处理终端1分析由摄像机拍摄的图像以估计用户佩戴的手表2的位置和姿势，并且基于位置和姿势的转变检测手势操作。
信息处理终端1根据用户的手势操作来执行各种处理，例如控制由AR功能显示的内容以及控制外部设备。
即，作为可穿戴设备的手表2用作配备有AR功能的信息处理终端1的AR控制器。用户可以通过移动佩戴手表2的左臂来操作信息处理终端1。
图2是示出手表2的外观的正视图。
如图2所示，手表2是模拟式手表。长指针22-1和短指针22-2设置在大致正圆的壳体11的表盘21上。在下文中，当不需要适当区分长指针22-1和短指针22-2时，将它们统称为时钟指针22。
三个计时器设置在表盘21中心附近的位置处，并且诸如刻度和数字的索引设置在外围。此外，在表盘21的中心上方印有标志。在图2的示例中，印有标志“AAAA”。
图1中的信息处理终端1基于通过摄像机进行捕获而获得的捕获图像来估计这样的模拟式手表2的位置和姿势。由于时钟指针22所指向的方向根据时间而变化，因此手表2是具有其外观根据时间而变化的表盘21的可穿戴设备。
为了估计手表2的位置和姿势，信息处理终端1需要从捕获图像中示出的对象中检测手表2的预定模块，例如表盘21。信息处理终端1基于在捕获图像中检测到的表盘21的位置和形状、设置在表盘21上的时钟指针22的方向等估计表盘21在3维空间中的位置和姿势。表盘21的位置和姿势表示手表2的位置和姿势。
图3是示出用于检测表盘21的模板图像的示例的图。
此处，模板图像是用于与捕获图像的每个部分进行匹配(检测捕获相同对象的区域)的图像。通过使用模板图像的模式匹配来检测表盘21。
在图3的A中示出的模板图像中，表示手表2的外观的图像中的正圆表盘21外侧的区域和表盘21内侧区域中表示“10:10”的时钟指针22的区域被遮蔽。用于生成模板图像的、表示手表2的外观的图像例如是在检测表盘21之前校准时预先登记的图像。在图3中，由黑色表示的区域是掩模区域。
另外，在图3的A中示出的模板图像中，表示“3:45”的时钟指针22的图像与表盘21的区域组合。示有阴影的指示“3:45”的时钟指针是通过图像处理合成的时钟指针22的图像。
图3的A中示出的模板图像是在“3:45”检测到表盘21时使用的图像。
类似地，在图3的B中示出的模板图像中，表盘21外侧的区域和表盘21内侧区域中表示“10:10”的时钟指针22的区域被遮蔽。
另外，在图3的B中示出的模板图像中，表示“7:00”的时钟指针22的图像与表盘21的区域组合。
图3的B中示出的模板图像是在“7:00”检测到表盘21时使用的图像。
类似地，在图3的C中示出的模板图像中，表盘21外侧的区域和表盘21内侧的区域中指示“10:10”的时钟指针22的区域被遮蔽。
另外，在图3的C中示出的模板图像中，表示“11:30”的时钟指针22的图像与表盘21的区域组合。
图3的C中示出的模板图像是在“11:30”检测到表盘21时使用的图像。
如上所述，在信息处理终端1中，将检测到表盘21的时间设置为当前时间，并且针对每个当前时间，生成表示当前时间的表盘21的图像作为模板图像，并且将其用于匹配。
信息处理终端1可以通过使用指示当前时间的表盘21的图像作为模板图像来估计表盘21的位置。此外，信息处理终端1可以根据时钟指针22的方向估计表盘21的姿势。
即，信息处理终端1可以估计手表2的位置和姿势。
另外，由于不需要用于检测位置和姿势的复杂纹理例如标记，因此用户可以在不影响时尚的情况下使用普通手表作为AR控制器。
稍后将描述诸如模板图像的生成和使用模板图像进行匹配的处理的细节。
<信息处理终端的配置示例>
图4是示出信息处理终端1的配置示例的框图。
如图4所示，通过将摄像机52、传感器53、通信单元54、显示单元55和存储器56连接至控制器51来配置信息处理终端1。
控制器51包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。控制器51执行存储在ROM或存储器56中的程序并且控制信息处理终端1的整体操作。
例如，控制器51基于从摄像机52提供的捕获图像估计手表2的位置和姿势，并且检测用户的手势操作。控制器51根据检测到的手势操作执行各种处理。
摄像机52捕获用户前面的风景。摄像机52将通过执行捕获获得的捕获图像输出至控制器51。
注意，摄像机52是用于可见光检测的摄像机。摄像机52所捕获的图像是RGB图像。
摄像机52所捕获的图像还用于例如估计信息处理终端1自身的位置和姿势。
传感器53包括深度传感器或光检测和测距(LiDAR)。构成传感器53的深度传感器和LiDAR测量到对象的每个位置的距离，并且将距离图像、点云数据等作为指示测量结果的数据输出至控制器51。
传感器53适当地包括诸如加速度传感器、陀螺仪传感器和定位传感器的各种传感器。加速度传感器、陀螺仪传感器和定位传感器的测量结果用于对信息处理终端1的位置、姿势等的估计。
通信单元54包括便携式通信网络的通信模块、无线LAN的通信模块等。通信单元54经由网络与外部设备通信。
显示单元55在控制器51的控制下将各种类型的信息(例如字符和图像)显示为AR内容。
存储器56是诸如闪速存储器的存储介质。存储器56存储各种数据，例如由控制器51的CPU执行的程序。
图5是示出控制器51的功能配置示例的框图。
图5所示的功能单元的至少一部分是通过构成图4中的控制器51的CPU执行预定程序来实现的。
如图5所示，控制器51包括图像获取单元71、时间同步单元72、掩模图像生成单元73、模板图像生成单元74、位置/姿势估计单元75和控制单元76。
图像获取单元71获取通过摄像机52捕获而获得的捕获图像。在校准时获取的捕获图像被提供给掩模图像生成单元73，并且在匹配时获取的捕获图像被提供给位置/姿势估计单元75。
时间同步单元72使信息处理终端1的内部时钟的时间与手表2的时间同步。与手表2的时间同步的内部时钟的时间信息被提供给模板图像生成单元74。
例如，时间同步是通过信息处理终端1和手表2两者接收包括关于标准时间的信息的无线电波来建立的。
信息处理终端1和手表2两者都可以访问网络时间协议(NTP)服务器，并且可以基于从NTP服务器接收的信息来建立时间同步。
在手表2具有无线电通信功能的情况下，可以在信息处理终端1与手表2之间执行无线电通信以建立时间同步。
可以通过分析摄像机52所捕获的图像来检测手表2的时间，并且可以指定与内部时钟的时间的偏差。根据手表2的时间与内部时钟的时间之间的偏差，对执行匹配时使用的当前时间的信息进行校正。此外，不仅可以存储手表2的时间与内部时钟的时间之间的偏差，还可以存储用户所拥有的手表的指针或面板的设计。
掩模图像生成单元73基于从图像获取单元71提供的捕获图像生成用于生成模板图像的掩模图像。由掩模图像生成单元73生成的掩模图像被提供给模板图像生成单元74。
基于从掩模图像生成单元73提供的掩模图像，模板图像生成单元74针对检测到表盘21时的每个时间生成模板图像。由模板图像生成单元74生成的模板图像被提供给位置/姿势估计单元75。
位置/姿势估计单元75在从图像获取单元71提供的捕获图像的每个部分与由模板图像生成单元74生成的模板图像之间执行匹配，并且检测在捕获图像中出现的表盘21。位置/姿势估计单元75基于在捕获图像中出现的表盘21的位置和形状、时钟指针22的方向等估计手表2的位置和姿势。指示手表2的位置和姿势的估计结果的信息被提供给控制单元76。代替估计手表2的位置和姿势两者，可以仅估计其中之一。
控制单元76基于手表2的位置和姿势的估计结果，执行各种处理，例如控制AR功能所显示的内容、控制外部设备。控制单元76用作控制通过AR对各种类型信息的显示的显示控制单元，并且还用作控制外部设备的操作的操作控制单元。
<信息处理终端1的操作>
此处，将描述具有以上配置的信息处理终端1的操作。
首先，将参照图6的流程图描述校准处理。
校准处理是例如在估计手表2的位置和姿势之前预先执行的处理。
在步骤S11中，控制器51使显示单元55显示用作表盘区域的引导的引导图像。
在步骤S12中，图像获取单元71使摄像机52捕获根据引导图像引导其位置的手表2。
图7是示出引导图像的显示示例的图。
在图7的上部的位置P1处显示的图像G是用作表盘区域的引导的引导图像。在图7的示例中，将预定颜色的圆形图像G显示为引导图像
在显示位置被固定的同时，将这样的引导图像显示为叠加在前方的风景上。用户移动他/她的手臂使得手表2的表盘21适配在引导图像内侧。
如箭头A1的尖端所示，在手表2的表盘21在引导图像内侧的状态下执行拍摄。通过拍摄手表2获得的拍摄图像与引导图像的范围的信息一起被提供给掩模图像生成单元73。
在图6的步骤S13中，掩模图像生成单元73登记从图像获取单元71提供的捕获图像。示出手表2的捕获图像被管理为登记图像。
在步骤S14中，掩模图像生成单元73通过分析表盘21上引导图像叠加在登记图像中的区域来检测长指针22-1和短指针22-2。掩模图像生成单元73生成掩模图像，该掩模图像遮蔽表盘21外侧的区域和表盘21内侧的时钟指针22的区域。
图8是示出生成掩模图像的示例的图。
如图8的左侧所示，登记图像示出了通过将表盘21的位置与引导图像对齐而拍摄的手表2。
基于这样的登记图像检测到表示“10:10”的时钟指针22，并且生成掩模图像，该掩模图像如箭头A11的尖端所示将表盘21外侧的区域和时钟指针22的区域进行遮蔽。
注意，在校准时间例如是“10:10”的情况下，时钟指针22位于指示“10:10”的位置。可以基于指示“10:10”的位置在预定范围内检测时钟指针22。因此，能够提高时钟指针22的检测精度。
在生成掩模图像之后，校准处理结束。
接下来，将参照图9的流程图描述位置/姿势估计处理。
例如在执行校准处理之后并且当检测到用户的手势操作时，开始图9中的位置/姿势估计处理。
在步骤S31中，时间同步单元72使信息处理终端1的内部时钟的时间与手表2的时间同步。
在步骤S32中，图像获取单元71使摄像机52捕获图像并获取捕获图像。由图像获取单元71获取的捕获图像被提供给位置/姿势估计单元75。
在步骤S33中，模板图像生成单元74参考从时间同步单元72提供的时间信息并且基于当前时间生成模板图像。
图10是示出模板图像的生成的示例的图。
在准备好图10的左侧所示的登记图像的情况下，模板图像生成单元74如箭头A21的尖端指示的那样基于掩模图像来遮蔽表盘21外侧的区域和时钟指针22的区域。
遮蔽后图像包括关于表盘21内侧中除了表示例如作为校准时间的“10:10”的时钟指针22的区域以外的区域的信息。
另外，模板图像生成单元74如箭头A22的尖端指示的那样通过将表示当前时间的时钟指针22的图像与遮蔽后图像进行合成来生成模板图像。
例如，在当前时间是“3:45”的情况下，合成表示“3:45”的时钟指针22的图像。在图10的右端所示的模板图像中，示有阴影的指示“3:45”的指针是通过图像处理合成的图像。
返回图9的描述，在步骤S34中，位置/姿势估计单元75使用由模板图像生成单元74生成的模板图像执行与捕获图像的每个部分的匹配。例如，如图10所示的正圆模板图像被变形以表示从各个角度观看时的外观，并且使用变形的模板图像执行匹配。
在步骤S35中，位置/姿势估计单元75通过使用模板图像进行匹配来确定是否已经检测到表盘21。
在未检测到表盘21的情况下，处理返回至步骤S32，并且重复以上处理。更新模板图像，并且使用更新的模板图像重复匹配。
在步骤S35中确定检测到表盘21的情况下，在步骤S36中，位置/姿势估计单元75基于在捕获图像中出现的表盘21的位置和形状、时钟指针22的方向等来估计表盘21的位置和姿势。
在步骤S37中，位置/姿势估计单元75更新关于由表盘21的位置和姿势表示的手表2的位置和姿势的信息。之后，处理返回至步骤S32，并且重复以上处理。
通过重复以上处理，控制单元76基于手表2的位置和姿势的时间序列检测用户的手势操作。
通过以上处理，信息处理终端1可以容易地估计手表2的位置和姿势。
例如，在仅基于捕获图像中出现的表盘21的位置和形状(正圆或椭圆)执行处理的情况下，信息处理终端1可以估计表盘21的位置，但不能估计手表2在竖直方向上的方向等。
通过考虑指示当前时间的指针的方向，信息处理终端1还可以估计手表2在竖直方向上的方向等。
另外，用户可以使用普通手表作为AR控制器。
在假设信息处理终端1总是在室内和室外佩戴的情况下，要求用户总是佩戴AR控制器。通过将对其持续佩戴抗拒感低的手表2用作AR控制器，可以在保持时尚的状态下没有困难地持续佩戴AR控制器。用户可以一直佩戴AR控制器，并且可以使用手势操作和AR对象的显示来获得交互体验。
<<2.使用每个姿势的模板图像进行匹配的示例>>
尽管对手表2的位置和姿势的估计是基于由摄像机52(即，用于可见光检测的摄像机)捕获的RGB图像执行的，但是也可以基于通过红外(IR)摄像机捕获的IR图像执行类似的处理。
在这种情况下，信息处理终端1设置有IR光照射设备和IR摄像机，该IR摄像机检测由照射设备发射的IR光的反射光并且生成IR图像作为捕获图像。
图11是手表2的表盘21的放大图。
如图11的左侧的虚线所示，在表盘21上形成包括用于IR光的逆反射材料的反射部分21A。在图11的示例中，反射部分21A形成在包括长指针22-1和短指针22-2旋转的范围的正圆范围内。
逆反射材料是以与入射角相同的角度反射光的材料。照射反射部分21A的IR光以与入射角相同的角度被反射。
设置在其上形成有反射部分21A的表盘21上的长指针22-1和短指针22-2包括用于IR光的非反射材料。
在利用IR光照射并通过IR摄像机捕获具有这样的配置的表盘21的情况下，获取如箭头A31的尖端所示的IR图像作为捕获图像。
在图9所示的IR图像中，反射部分21A内侧的除了指示“15:00”的长指针22-1和短指针22-2以外的部分以预定亮度示出。反射部分21A的外侧和指示“15:00”的时钟指针22的部分呈现为暗状态。
在信息处理终端1中，基于在IR图像中出现的反射部分21A的形状来生成表盘21的每个姿势的模板图像。
图12是示出模板图像的示例的图。
如图12所示，通过使表示当前时间的表盘21变形以表示从各种角度观看时的外观来生成每个姿势的模板图像。
例如，将表示当前时间的时钟指针22的图像与表示反射部分21A的形状的圆进行合成，并且对合成图像进行变形以表示从各个角度观看时的外观，从而生成模板图像。
通过在模板图像与IR图像的每个部分之间执行这样的匹配，检测到在IR图像中出现的表盘21。
图13是示出信息处理终端1的配置示例的框图。
图13所示的信息处理终端1的配置与图4的配置的不同之处在于提供了IR光照射单元61和IR摄像机62。在图13所示的配置中，与图4所示的部件相同的部件由与在图4中使用的附图标记相同的附图标记表示。将适当地省略重复的描述。
IR光照射单元61是发射IR光的照射设备。当检测到用户的手势操作时，IR光照射单元61发射IR光。
IR摄像机62检测由IR光照射单元61发射的IR光的反射光并且生成IR图像作为捕获图像。由IR摄像机62生成的IR图像被提供给控制器51。IR摄像机62设置在例如IR光照射单元61的附近。
在图13的控制器51中，通过执行预定程序来实现与图5的每个配置相同的配置。
此处，将参照图14的流程图描述位置/姿势估计处理。
当检测到用户的手势操作时，开始图14中的位置/姿势估计处理。
在步骤S51中，时间同步单元72使信息处理终端1的内部时钟的时间与手表2的时间同步。
在步骤S52中，图像获取单元71使IR摄像机62捕获图像并且获取IR图像。由图像获取单元71获取的IR图像被提供给位置/姿势估计单元75。
在步骤S53中，模板图像生成单元74参考从时间同步单元72提供的时间信息，并且基于当前时间生成对应于每个姿势的模板图像。
在步骤S54中，位置/姿势估计单元75使用由模板图像生成单元74生成的模板图像执行与IR图像的每个部分的匹配。
在步骤S55中，位置/姿势估计单元75通过使用模板图像进行匹配来确定是否已经检测到表盘21。
在未检测到表盘21的情况下，处理返回至步骤S52，并且重复以上处理。更新模板图像，并且使用更新的模板图像重复匹配。
在步骤S55中确定已检测到表盘21的情况下，在步骤S56中，位置/姿势估计单元75基于在IR图像中出现的表盘21的位置和形状、时钟指针22的方向等来估计表盘21的位置和姿势。
在步骤S57中，位置/姿势估计单元75更新关于由表盘21的位置和姿势表示的手表2的位置和姿势的信息。之后，处理返回至步骤S52，并且重复以上处理。
通过重复以上处理，控制单元76基于手表2的位置和姿势的时间序列检测用户的手势操作。
通过使用以上描述的IR图像，可以提高对手表2的位置和姿势的估计精度。
<<3.通过图像处理估计位置和姿势的示例>>
图15是手表2的表盘21的放大图。
图15的左侧所示的表盘21的配置与图11所示的配置的不同之处在于，短指针22-2包括半透射材料或逆反射材料。
包括用于IR光的逆反射材料的反射部分21A形成在表盘21上。另外，长指针22-1包括用于IR光的非反射材料。
当在这样的表盘21上反射并通过IR摄像机捕获IR光的情况下，获取如箭头A41的尖端所指示的IR图像作为捕获图像。
在图15所示的IR图像中，反射部分21A内侧的除了长指针22-1以外的部分以具有预定亮度的状态示出。反射部分21A的外侧和长指针22-1的部分呈现为暗状态。
在信息处理终端1中，表盘21的位置和姿势是通过对其中一个长指针22-1与反射部分21A一起出现的IR图像进行的这样的图像处理来估计的。在本示例中，不执行使用模板图像进行匹配，而是基于IR图像中出现的反射部分21A的形状与长指针22-1的位置之间的关系来估计表盘21的位置和姿势。
图16是示出图像处理的示例的图。
在捕获图16的左端所示的IR图像的情况下，对IR图像执行二值化处理。在待二值化的IR图像中，示出表示表盘21的扁平椭圆形状。在表示表盘21的扁平椭圆形状上示出了表示长指针22-1的直线。
通过对IR图像执行二值化处理，生成如箭头A51的尖端所示的边缘被强调的二值化图像。
如箭头A52的尖端所示，椭圆拟合应用于二值化图像。椭圆拟合是将具有预定尺寸的椭圆与作为在二值化图像中出现的表盘21的边界的边缘进行对齐的处理。
基于通过椭圆拟合与表盘21的边缘匹配的椭圆形状，检测到三维空间中表盘21所在的平面，如箭头A53的尖端处的虚线平行四边形所示。
另一方面，如箭头A54的尖端所示，通过椭圆拟合对与表盘21的边缘相匹配的椭圆的内部区域执行边缘计算，检测到表示长指针22-1的直线的边缘E。
如箭头A55和箭头A56的尖端所示，将表示边缘E的线段投影在三维空间中表盘21所在的平面上，并且基于表示边缘E的线段的方向来估计表盘21的位置和姿势。表示边缘E的线段的方向与当前时间的分钟的方向一致。表盘21的位置和姿势使得指示当前时间的分钟的长指针22-1看起来像表示边缘E的线段。
在本示例中，基于IR图像中出现的一个长指针22-1的方向来估计表盘21的位置和姿势，但是可以基于长指针22-1和短指针22-2两者中每个的方向来估计表盘21的位置和姿势。在这种情况下，不仅长指针22-1而且短指针22-2包括非反射材料。
长指针22-1可以包括半透射材料或逆反射材料，而短指针22-2可以包括非反射剂。
<<4.手表的配置>>
在图13的示例中，在信息处理终端1中设置作为IR光照射设备的IR光照射单元61，但是可以在手表2侧设置IR光照射设备。
图17是手表2的表盘21的放大图。
如图17的A所示，反射部分21A包括光漫射片。如图17的B中的截面所示，作为IR光的照射设备的IR-LED设置在反射部分21A的背面侧。从IR-LED发射的IR光被反射部分21A漫射。
通过检测由反射部分21A漫射的IR光，信息处理终端1的IR摄像机62生成参照图11所描述的IR图像，并且基于该IR图像估计表盘21的位置和姿势。
以这种方式，能够在手表2侧设置IR光照射设备。在这种情况下，不需要在信息处理终端1中设置IR光照射单元61。
注意，如参照图15所描述的，长指针22-1和短指针22-2中的短指针22-2可以包括半透射材料或逆反射材料。
<<5.其他示例>>
<表盘形状的示例>
尽管表盘21的形状是正圆，但也可以是四边形。
在表盘21的形状为四边形的情况下，使四边形模板图像变形以表示从各种角度观看时的外观，并且使用变形的模板图像执行匹配。
对于从四边形到三维平面的反投影，例如使用一般的AR标记区域检测方法。
<应用于数字时钟的示例>
图18是示出手表的另一示例的图。
如图18所示，时间显示类型为数字类型的手表也可以用作AR控制器。
在这种情况下，代替时钟指针22，生成其中合成了表示当前时间的数字数值的模板图像，并且执行匹配。
在使用IR图像估计位置和姿势的情况下，在液晶背面上形成包括用于IR光的逆反射材料的区域。另外，IR光可以用作背光的光。
<在手表用作AR控制器的情况下的使用示例>
由于对一直佩戴手表抗拒感很低，因此用户可以将手表广泛用作日常生活中的AR控制器。
(1)对在用户没有意识到手表存在的情形下移动手的情况下手的移动进行分析以支持用户的行为。
示例1：当用户将他/她的手伸向便利店中的食物时，信息处理终端1在显示器上显示食物的价格、成分、最佳食用日期、评论等。
示例2：信息处理终端1可以在通过用摄像机52拍摄和存储用户已放入包中和从包中取出的对象来确定存在尚未放入包中的对象的情况下向用户发出警告。
(2)它可以随时随地使用，并且在想要使用时立即使用而没有安装设备的麻烦。
示例1：在用户为访客购买时发现用户没有时间清洁的情况下，用户可以在信息处理终端1的显示器上显示房屋内的风景的同时，远程指示清洁机器人到哪里清洁。
示例2：在通勤途中的火车中，收到来自朋友的VR游戏参与请求的消息的情况下，用户可以通过使信息处理终端1检测手表2的表盘21上的手势和触摸操作来参与游戏。
示例3：在用户使用信息处理终端1参与视频会议的情况下，用户可以在用手势(指示器)指示显示在信息处理终端1的显示器上的文档的同时讲话。
示例4：用户可以利用信息处理终端1的摄像机52拍摄用户的手前面的场景。
(3)可以在信息处理终端1上确认与时间相关的信息。
示例1：用户可以确认诸如日历、日程、邮件、SNS等信息。
示例2：用户可以通过沿预定方向转动设置在手表2上的时间调整表盘，在信息处理终端1的显示器上显示过去的邮件、SNS消息等。
示例3：用户可以通过沿相反方向转动手表2的时间调整表盘，在信息处理终端1的显示器上显示未来日程。
示例4：除了操作表盘之外，还可以用手指操作钟面。
<信息处理终端的示例>
图19是示出信息处理终端1的另一示例的图。
代替眼镜式可穿戴设备，可以使用信息处理终端(例如图19的A中所示的视频透射式头戴式显示器(HMD)1A)或便携式终端(例如图19的B中所示的智能电话1B)用作通过AR功能显示内容的显示设备。
在视频透射式HMD 1A用作显示设备的情况下，由HMD 1A再现的AR内容的视频与HMD 1A中提供的摄像机所捕获的HMD 1A前方的风景的图像重叠地进行显示。在佩戴HMD 1A的用户的视野前方，提供了将AR内容与摄像机所捕获的图像重叠地进行显示的显示器。
此外，在使用智能电话1B的情况下，由智能电话1B再现的AR内容的视频被显示以叠加在由设置在智能电话1B背面的摄像机捕获的智能电话1B前方的风景的图像上。
可以在诸如连接至信息处理终端1的PC的外部设备中实现参照图5描述的配置中的至少一种。
<计算机的配置示例>
上述一系列处理可以由硬件执行，也可以由软件执行。在一系列处理由软件执行的情况下，构成软件的程序从程序记录介质安装到包含在专用硬件中的计算机、通用个人计算机等。
图20是示出通过程序执行上述一系列处理的计算机的硬件配置示例的框图。
中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。
输入/输出接口1005还连接至总线1004。包括键盘、鼠标等的输入单元1006以及包括显示器、扬声器等的输出单元1007连接至输入/输出接口1005。此外，包括硬盘、非易失性存储器等的存储单元1008、包括网络接口等的通信单元1009以及驱动可移除介质1011的驱动器1010连接至输入/输出接口1005。
在如上所述配置的计算机中，例如，CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中并且执行该程序，由此执行上述一系列的处理。
CPU 1001执行的程序例如通过记录在可移除介质1011中或经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供，并且安装在存储单元1008中。
注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行或在必要的定时(例如进行呼叫时)执行处理的程序。
此外，在本说明书中，该系统是指一组多个部件(设备、模块(零件)等)，而不管所有部件是否都设置在同一壳体中。因此，存储在分开的壳体中并通过网络连接的多个设备以及多个模块存储在一个壳体中的一个设备可以是系统。
本说明书中描述的效果仅是示例而不是限制，并且可以提供其他效果。
本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的精神的范围内做出各种改变。
例如，本技术可以由多个设备通过网络共享一个功能来一起执行处理的云计算系统来配置。
另外，上述流程图中描述的步骤可以由多个设备而不是一个设备共享和执行。
此外，在一个步骤中包含多个步骤的情况下，一个步骤中包含的多个处理可以由多个设备而不是一个设备共享和执行。
<配置的组合示例>
本技术还可以具有以下配置。
(1)一种信息处理装置，包括：
获取单元，其获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；以及
估计单元，其基于表示根据当前时间所述模块的外观的图像来检测在所述捕获图像中出现的所述模块，并且估计所述可穿戴设备的位置或姿势中的至少一个。
(2)根据(1)所述的信息处理装置，
所述估计单元基于使用表示根据当前时间所述模块的外观的图像作为模板图像进行的匹配的结果，估计所述可穿戴设备的位置或姿势中的至少一个。
(3)根据(2)所述的信息处理装置，
所述估计单元在所述捕获图像的每个部分与所述模板图像之间执行匹配，以检测在所述捕获图像中出现的所述模块。
(4)根据(2)所述的信息处理装置，还包括：
模板图像生成单元，其基于预先捕获的所述可穿戴设备的图像来生成所述模板图像。
(5)根据(4)所述的信息处理装置，
所述可穿戴设备是手表，所述手表设置有在作为所述模块的表盘上旋转的指针，并且
所述模板图像生成单元通过对表示预先捕获的所述可穿戴设备的图像的捕获时间的所述指针的区域进行遮蔽并合成表示当前时间的所述指针的图像，来生成所述模板图像。
(6)根据(1)至(5)中任一项所述的信息处理装置，还包括：
用于可见光检测的摄像机，其捕获所述可穿戴设备的图像并且生成所述捕获图像。
(7)根据(6)所述的信息处理装置，
所述用于可见光检测的摄像机是捕获用于估计用户所穿戴的所述信息处理装置的位置和姿势的图像的摄像机。
(8)根据(2)所述的信息处理装置，
所述获取单元获取通过使用红外摄像机捕获所述可穿戴设备的图像而获得的所述捕获图像，所述可穿戴设备包括具有用于红外线的反射材料作为部件的所述模块。
(9)根据(8)所述的信息处理装置，
所述可穿戴设备是手表，所述手表设置有在作为所述模块的表盘上旋转的指针，并且
所述表盘的至少一部分包括所述反射材料，并且所述指针包括非反射材料。
(10)根据(9)所述的信息处理装置，还包括：
模板图像生成单元，其基于在所述捕获图像中出现的所述表盘的形状，生成表示根据当前时间所述表盘的外观的所述模板图像。
(11)根据(10)所述的信息处理装置，
所述模板图像生成单元通过将表示当前时间的所述指针的图像与表示所述表盘的形状的图像进行合成来生成所述模板图像。
(12)根据(8)至(11)中任一项所述的信息处理装置，还包括：
所述红外摄像机。
(13)根据(9)所述的信息处理装置，
所述估计单元基于在所述捕获图像中出现的所述表盘的形状与在所述捕获图像中出现的表示当前时间的指针的位置之间的关系，估计所述可穿戴设备的位置或姿势中的至少一个。
(14)根据(1)至(4)中任一项所述的信息处理装置，
所述可穿戴设备是手表，所述手表设置有执行时间的数字显示的所述模块。
(15)根据(1)至(14)中任一项所述的信息处理装置，还包括：
显示控制单元，其根据所述估计单元的估计结果显示预定对象。
(16)根据(1)至(15)中任一项所述的信息处理装置，还包括：
控制单元，其根据穿戴所述可穿戴设备的用户的动作执行预定处理，所述动作由所述估计单元的估计结果表示。
(17)一种由信息处理装置执行的信息处理方法，所述方法包括：
获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；
基于表示根据当前时间所述模块的外观的图像，检测在所述捕获图像中出现的所述模块；以及
估计所述可穿戴设备的位置或姿势中的至少一个。
(18)一种程序，所述程序用于使计算机执行以下操作：
获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；
基于表示根据当前时间所述模块的外观的图像，检测在所述捕获图像中出现的所述模块；以及
估计所述可穿戴设备的位置或姿势中的至少一个。
附图标记列表
1 信息处理终端
2 手表
21 表盘
22 时钟指针
51 控制器
52 摄像机
53 传感器
54 通信单元
55 显示单元
56 存储器
61 IR光照射单元
62 IR摄像机
71 图像获取单元
72 时间同步单元
73 掩模图像生成单元
74 模板图像生成单元
75 位置/姿势估计单元
76 控制单元

Claims (18)

1.一种信息处理装置，包括：
获取单元，其获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；以及
估计单元，其基于表示根据当前时间所述模块的外观的图像来检测在所述捕获图像中出现的所述模块，并且估计所述可穿戴设备的位置或姿势中的至少一个。
2.根据权利要求1所述的信息处理装置，
其中，所述估计单元基于使用表示根据当前时间所述模块的外观的图像作为模板图像进行的匹配的结果，估计所述可穿戴设备的位置或姿势中的至少一个。
3.根据权利要求2所述的信息处理装置，
其中，所述估计单元在所述捕获图像的每个部分与所述模板图像之间执行匹配，以检测在所述捕获图像中出现的所述模块。
4.根据权利要求2所述的信息处理装置，还包括：
模板图像生成单元，其基于预先捕获的所述可穿戴设备的图像来生成所述模板图像。
5.根据权利要求4所述的信息处理装置，
其中，所述可穿戴设备是手表，所述手表设置有在作为所述模块的表盘上旋转的指针，并且
所述模板图像生成单元通过对表示预先捕获的所述可穿戴设备的图像的捕获时间的所述指针的区域进行遮蔽并合成表示当前时间的所述指针的图像，来生成所述模板图像。
6.根据权利要求1所述的信息处理装置，还包括：
用于可见光检测的摄像机，其捕获所述可穿戴设备的图像并且生成所述捕获图像。
7.根据权利要求6所述的信息处理装置，
其中，所述用于可见光检测的摄像机是捕获用于估计用户所穿戴的所述信息处理装置的位置和姿势的图像的摄像机。
8.根据权利要求2所述的信息处理装置，
其中，所述获取单元获取通过使用红外摄像机捕获所述可穿戴设备的图像而获得的所述捕获图像，所述可穿戴设备包括具有用于红外线的反射材料作为部件的所述模块。
9.根据权利要求8所述的信息处理装置，
其中，所述可穿戴设备是手表，所述手表设置有在作为所述模块的表盘上旋转的指针，并且
所述表盘的至少一部分包括所述反射材料，并且所述指针包括非反射材料。
10.根据权利要求9所述的信息处理装置，还包括：
模板图像生成单元，其基于在所述捕获图像中出现的所述表盘的形状，生成表示根据当前时间所述表盘的外观的所述模板图像。
11.根据权利要求10所述的信息处理装置，
其中，所述模板图像生成单元通过将表示当前时间的所述指针的图像与表示所述表盘的形状的图像进行合成来生成所述模板图像。
12.根据权利要求8所述的信息处理装置，还包括：
所述红外摄像机。
13.根据权利要求9所述的信息处理装置，
其中，所述估计单元基于在所述捕获图像中出现的所述表盘的形状与在所述捕获图像中出现的表示当前时间的指针的位置之间的关系，估计所述可穿戴设备的位置或姿势中的至少一个。
14.根据权利要求1所述的信息处理装置，
其中，所述可穿戴设备是手表，所述手表设置有执行时间的数字显示的所述模块。
15.根据权利要求1所述的信息处理装置，还包括：
显示控制单元，其根据所述估计单元的估计结果显示预定对象。
16.根据权利要求1所述的信息处理装置，还包括：
控制单元，其根据穿戴所述可穿戴设备的用户的动作执行预定处理，所述动作由所述估计单元的估计结果表示。
17.一种由信息处理装置执行的信息处理方法，所述方法包括：
获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；
基于表示根据当前时间所述模块的外观的图像，检测在所述捕获图像中出现的所述模块；以及
估计所述可穿戴设备的位置或姿势中的至少一个。
18.一种程序，所述程序用于使计算机执行以下操作：
获取通过捕获可穿戴设备的图像而获得的捕获图像，所述可穿戴设备包括其外观根据时间变化的模块；
基于表示根据当前时间所述模块的外观的图像，检测在所述捕获图像中出现的所述模块；以及
估计所述可穿戴设备的位置或姿势中的至少一个。
CN202080022245.8A 2019-03-28 2020-03-16 信息处理装置、信息处理方法和程序 Pending CN113646730A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-063440 2019-03-28
JP2019063440 2019-03-28
PCT/JP2020/011449 WO2020196028A1 (ja) 2019-03-28 2020-03-16 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN113646730A true CN113646730A (zh) 2021-11-12

Family

ID=72611488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022245.8A Pending CN113646730A (zh) 2019-03-28 2020-03-16 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20220156960A1 (zh)
EP (1) EP3951561A4 (zh)
CN (1) CN113646730A (zh)
WO (1) WO2020196028A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
US20150063661A1 (en) * 2013-09-03 2015-03-05 Samsung Electronics Co., Ltd. Method and computer-readable recording medium for recognizing object using captured image
CN104427372A (zh) * 2013-08-30 2015-03-18 Lg电子株式会社 可佩戴的手表式终端和装备有可佩戴的手表式终端的系统
US20150193104A1 (en) * 2014-01-08 2015-07-09 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN104793735A (zh) * 2014-01-16 2015-07-22 卡西欧计算机株式会社 显示系统、显示终端以及显示方法
EP2980741A1 (en) * 2014-07-31 2016-02-03 Lg Electronics Inc. Wearable device and method for controlling the same
CN107977247A (zh) * 2016-10-19 2018-05-01 艾珀斯特股份有限公司 智能手表的手表界面设计生成方法及其装置
CN109241892A (zh) * 2018-08-27 2019-01-18 Oppo广东移动通信有限公司 一种仪表盘读取方法、仪表盘读取装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098300A (ja) 1998-09-28 2000-04-07 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP6404046B2 (ja) * 2014-09-10 2018-10-10 セイコーインスツル株式会社 電子時計、時刻処理システム、及び時刻処理方法
JP6420605B2 (ja) * 2014-09-24 2018-11-07 Kddi株式会社 画像処理装置
US20160178906A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Virtual wearables
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
JP2018124651A (ja) * 2017-01-30 2018-08-09 セイコーエプソン株式会社 表示システム
JP6960990B2 (ja) * 2017-03-29 2021-11-05 シチズン時計株式会社 アナログ電子時計システムおよびアナログ電子時計
KR101943358B1 (ko) * 2017-06-01 2019-01-29 엘지전자 주식회사 이동 단말기 및 그것의 동작방법
US11409247B2 (en) * 2018-01-24 2022-08-09 Citizen Watch Co., Ltd. Analog electronic watch system and analog electronic watch
US10943402B2 (en) * 2018-03-20 2021-03-09 Logitech Europe S.A. Method and system for mixed reality interaction with peripheral device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
CN104427372A (zh) * 2013-08-30 2015-03-18 Lg电子株式会社 可佩戴的手表式终端和装备有可佩戴的手表式终端的系统
US20150063661A1 (en) * 2013-09-03 2015-03-05 Samsung Electronics Co., Ltd. Method and computer-readable recording medium for recognizing object using captured image
US20150193104A1 (en) * 2014-01-08 2015-07-09 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN104793735A (zh) * 2014-01-16 2015-07-22 卡西欧计算机株式会社 显示系统、显示终端以及显示方法
EP2980741A1 (en) * 2014-07-31 2016-02-03 Lg Electronics Inc. Wearable device and method for controlling the same
CN107977247A (zh) * 2016-10-19 2018-05-01 艾珀斯特股份有限公司 智能手表的手表界面设计生成方法及其装置
CN109241892A (zh) * 2018-08-27 2019-01-18 Oppo广东移动通信有限公司 一种仪表盘读取方法、仪表盘读取装置及电子设备

Also Published As

Publication number Publication date
US20220156960A1 (en) 2022-05-19
EP3951561A4 (en) 2022-05-11
WO2020196028A1 (ja) 2020-10-01
EP3951561A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
CN112823328B (zh) 用于执行相机系统的内部和/或外部校准的方法
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
JP5912059B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US11029762B2 (en) Adjusting dimensioning results using augmented reality
CN104205175B (zh) 信息处理装置，信息处理系统及信息处理方法
JP4681629B2 (ja) 表示デバイスのキャリブレーション方法及び装置
US10256859B2 (en) System and method for immersive and interactive multimedia generation
US9569892B2 (en) Image capture input and projection output
EP3095025B1 (en) Eye gaze detection with multiple light sources and sensors
US20170161957A1 (en) Information processing apparatus, display apparatus, information processing method, and program
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
US20130106692A1 (en) Adaptive Projector
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN108885487B (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
EP3467763A1 (en) Information processing device, information processing method, and recording medium
US9449427B1 (en) Intensity modeling for rendering realistic images
EP3951561A1 (en) Information processing device, information processing method, and program
US20220244788A1 (en) Head-mounted display
US20230262194A1 (en) Image generation method, image generation system, and recording medium storing program
WO2018207235A1 (ja) 入出力システム、スクリーンセット、入出力方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination