CN106575437A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN106575437A
CN106575437A CN201580044294.0A CN201580044294A CN106575437A CN 106575437 A CN106575437 A CN 106575437A CN 201580044294 A CN201580044294 A CN 201580044294A CN 106575437 A CN106575437 A CN 106575437A
Authority
CN
China
Prior art keywords
moving objects
unit
image
region
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580044294.0A
Other languages
English (en)
Other versions
CN106575437B (zh
Inventor
本间俊
本间俊一
贝野彰彦
柏谷辰起
福地正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106575437A publication Critical patent/CN106575437A/zh
Application granted granted Critical
Publication of CN106575437B publication Critical patent/CN106575437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Abstract

[问题]为了提供能够以高度的鲁棒性对其自身位置进行估计的信息处理装置。[解决方案]该信息处理装置设置有跟踪单元、区域估计单元以及估计处理单元。跟踪单元获取由设置在运动对象上的成像单元捕获的图像，该运动对象在旋转的同时运动。然后，跟踪单元将在运动对象的运动之前捕获的图像中的特征点与在所述运动之后捕获的图像中的特征点之间建立配对关系。区域估计单元获取关于所述运动的信息，并且基于所述信息，使用估计结果以确定对从运动对象看到的在前述运动的过程中前述特征点的二维位置的改变为小的区域。估计处理单元使用落入前述区域并且在其之间由跟踪单元建立了配对关系的特征点来对运动对象的位置进行估计。

Description

信息处理装置、信息处理方法以及程序
技术领域
本技术涉及对运动对象进行自身位置估计的信息处理装置、信息处理方法以及程序。
背景技术
近些年，越来越预期头戴式显示器应用于例如制造、医疗、游戏或日常生活的许多领域。作为利用头戴式显示器的技术，例如，已知显示与真实世界叠加的虚拟信息的AR(增强现实)技术和通过与用户的运动匹配来改变显示信息的VR(虚拟现实)技术。
在上述AR技术和VR技术中，使用对用户的位置或姿势进行估计的自身位置估计技术。作为自身位置估计技术，例如，已知SLAM(同时定位和映射)。SLAM是同时进行自身位置估计和环境地图创建的技术。专利文献1至3公开了由SLAM进行自身位置估计的技术。通过SLAM，使用从运动对象按时序捕获的图像来跟踪特征点，从而，对运动对象的自身位置进行估计。
引用列表
专利文献
专利文献1：日本专利申请特开No.2010-288112
专利文献2：日本专利申请特开No.2010-145219
专利文献3：日本专利申请特开No.2012-248032
发明内容
技术问题
在上述自身位置估计中，当用户不可预测地运动使得摄像装置的方向被快速地改变，例如，转向或摇动时，对特征点的跟踪变得困难。在这种情况下，自身位置估计的精度会降低。因此，当摄像装置的方向快速改变时，存在提供具有很好地跟踪特征点的高鲁棒性的自身位置估计技术的需要。
鉴于上述情况，本技术的目的是为了提供可以以高鲁棒性进行自身位置估计的信息处理装置、信息处理方法以及程序。
问题的解决方案
为了实现该目的，根据本技术的实施方式的信息处理装置包括跟踪单元、区域估计单元以及估计处理单元。
跟踪单元获取由设置在运动对象处的图像捕获单元捕获的图像，并且将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对，运动对象的运动伴随有旋转运动。
区域估计单元获取关于运动的信息，并且基于所述信息来对在运动对象的运动之前和之后从运动对象看到特征点的二维位置较少改变的区域进行估计。
估计处理单元使用在跟踪单元配对的区域内的特征点来对运动对象进行位置估计。
通过该配置，区域估计单元对在运动对象的运动之前和之后从运动对象看到特征点的二维位置较少改变的区域进行估计。当图像捕获单元的方向快速改变时，存在特征点的位置在区域估计单元估计的区域中没有快速运动的可能性。区域估计单元可以通过使用在区域估计单元估计的区域内的特征点进行具有高鲁棒性的自身位置估计技术。
区域估计单元可以计算旋转运动的旋转轴，并且使用旋转轴来估计区域。
通过该配置，区域估计单元估计出区域距运动对象的旋转运动的旋转轴越近，则在运动对象的运动之前和之后从运动对象看到特征点的二维位置变化越少。区域估计单元可以通过使用旋转轴来高精度地估计区域。
图像捕获单元可以包括多个摄像机构，所述多个摄像机构具有不相互平行的光轴。
区域估计单元可以在多个摄像机构中选择具有以下光轴的摄像机构：旋转轴与光轴之间的角最小。
估计处理单元可以使用区域估计单元选择的摄像机构捕获的图像中包括的特征点来对运动对象进行自身位置估计。
通过该配置，由具有以下光轴的摄像机构捕获的区域被估计为其中在运动对象的运动之前和之后从运动对象看到特征点的二维位置较少改变的区域：旋转轴与所述光轴之间的角在多个摄像机构中为小。区域估计单元可以通过使用区域估计单元选择的摄像机构捕获的图像中包括的特征点来进行具有高鲁棒性的自身位置估计。
信息处理装置还可以包括数据生成单元，该数据生成单元从跟踪单元配对的特征点中提取区域估计单元选择的摄像机构捕获的图像中包括的特征点。
估计处理单元使用由数据生成单元提取的特征点来对运动对象进行自身位置估计。
通过该配置，数据生成单元从跟踪单元配对的特征点中提取区域估计单元选择的摄像机构捕获的图像中包括的特征点。估计处理单元可以使用由数据生成单元提取的特征点来进行具有高鲁棒性的自身位置估计。
跟踪单元可以将区域估计单元选择的摄像机构捕获的图像中包括的特征点进行配对。
通过该配置，跟踪单元将区域估计单元选择的摄像机构捕获的图像中包括的特征点进行配对。估计处理单元可以通过使用由跟踪单元配对的特征点来进行具有高鲁棒性的自身位置估计。
区域估计单元可以估计区域，使得旋转轴穿过该区域。
通过该配置，运动对象的旋转运动的旋转轴所穿过的区域被估计为在运动对象的运动之前和之后从运动对象看到特征点的二维位置较少改变的区域。这使得由区域估计单元进行的区域估计的精度提高。
图像捕获单元可以具有90°或大于90°的视角。
通过该配置，通过使用广视角摄像装置(广角摄像装置、鱼眼摄像装置、全景摄像装置等)，运动对象的旋转轴所穿过的区域被容易地包括在图像捕获单元捕获的图像中。
信息处理装置还可以包括数据生成单元，该数据生成单元将图像的处理区域限制在所述区域内。
估计处理单元可以使用在处理区域中包括的特征点来对运动对象进行自身位置估计。
通过该配置，数据生成单元将由图像捕获单元捕获的图像的处理区域限制到所估计的区域，使得在运动对象的运动之前和之后从运动对象看到的特征点的二维位置较少改变。估计处理单元使用在处理区域中包括的特征点来进行自身位置估计。与使用由图像捕获单元捕获的整个图像中包括的特征点相比，以这种方式，估计处理单元可以有效地进行自身位置估计。
数据生成单元可以从跟踪单元配对的特征点中提取处理区域中包括的特征点。
估计处理单元可以使用由数据生成单元提取的特征点来对运动对象进行自身位置估计。
通过该配置，数据生成单元从跟踪单元配对的特征点中提取处理区域中包括的特征点。估计处理单元可以使用由数据生成单元提取的特征点来有效地进行自身位置估计。
跟踪单元可以将在处理区域中包括的特征点进行配对。
通过该配置，跟踪单元可以通过使用由跟踪单元配对的特征点来有效地进行自身位置估计。
当旋转运动的角速度为大时，区域估计单元可以放大处理区域。
当运动伴随有平移运动时，区域估计单元可以放大处理区域。
通过该配置，当预期从运动对象看到的特征点在运动对象M的运动之前和之后相对大地改变时，放大处理区域。可以防止在运动对象的运动之前和之后从运动对象看到二维位置较少改变的特征点从处理区域偏离。这使得能够确保足够数量的特征点用于自身位置估计。
跟踪单元可以针对每个所配对的特征点设置跟踪分数，该跟踪分数表明在运动之前捕获的图像和在运动之后捕获的图像中的特征点的一致度。
估计处理单元使用具有高跟踪分数的特征点来对运动对象进行自身位置估计。
通过该配置，跟踪单元针对所配对的相应特征点设置跟踪分数，该跟踪分数表明在运动之前捕获的图像和在运动之后捕获的图像中的相应特征点的一致度。换言之，相应特征点的一致度越高，则跟踪分数越高。相应特征点的一致度越低，则跟踪分数越低。估计处理单元可以通过使用具有高跟踪分数的特征点来高精度地进行自身位置估计。
跟踪单元可以将在运动之前捕获的图像与在运动之后捕获的图像中至少之一的中心区域内的特征点的跟踪分数设置为高。
通过该配置，在运动对象的运动之前和之后捕获的图像中，存在一个图像的中心区域内的特征点被包括在另一图像中的高可能性。估计出在运动对象被运动之前和之后捕获的图像中的一致度为高。因此，使在运动对象的运动之前和之后捕获的图像中至少之一的中心区域内的特征点的跟踪分数为高。估计处理单元可以使用具有高跟踪分数的特征点来高精度地进行自身位置估计。
所述信息可以使用陀螺仪传感器、地磁传感器、加速度传感器、声源方向估计设备以及Wi-Fi中的至少之一来生成。
通过该配置，提供了用于获取关于运动对象的运动的信息的特定装置。
信息处理装置还可以包括监测单元，监测单元通过所述信息对运动对象进行监测。
估计处理单元可以基于监测单元的监测的结果与所述自身位置估计无关地对运动对象进行自身位置估计。
通过该配置，与使用在图像捕获单元捕获的图像中包括的特征点进行的自身位置估计无关，使用由监测单元监测的结果来进行自身位置估计。因此，以两种方式进行自身位置估计，从而提高了自身位置估计的精度。此外，当难以通过两种方式中的一种方式进行自身位置估计时，可以通过两种方式中的另一种方式进行自身位置估计。因此，可以以更大的确定性获取自身位置估计的结果。
监测单元可以对运动对象的运动模型进行估计。
估计处理单元使用由监测单元估计的运动模型来对运动对象进行自身位置估计。
通过该配置，可以使用监测单元估计的运动模型通过估计处理单元来有效地进行自身位置估计。
信息处理装置还可以包括头戴式显示器，该头戴式显示器具有图像捕获单元和能够生成信息的检测单元，头戴式显示器被配置成能够安装至作为运动对象的用户的头部。
通过该配置，可以提供能够进行具有高鲁棒性的自身位置估计的头戴式显示器装置。
在根据本技术的实施方式的信息处理方法中，由设置在运动对象处的图像捕获单元来捕获图像，所述运动对象的运动伴随有旋转运动。
将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对。
生成关于运动的信息。
基于所述信息来对在运动对象的运动之前和之后从运动对象看到特征点的二维位置较少改变的区域进行估计。
使用在所述区域内的所配对的特征点来对运动对象进行自身位置估计。
根据本技术的实施方式的程序使信息处理装置执行以下步骤：获取由设置在运动对象处的图像捕获单元捕获的图像，并且将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对，运动对象的运动伴随有旋转运动。
程序使信息处理装置执行以下步骤：获取关于运动的信息，并且基于所述信息来对在运动对象的运动之前和之后从运动对象看到特征点的二维位置较少改变的区域进行估计。
程序使信息处理装置执行以下步骤：使用在区域内的所配对的特征点来对运动对象进行自身位置估计。
发明的有利效果
如上所述，根据本技术，可以提供以高鲁棒性进行自身位置估计的信息处理装置、信息处理方法和程序。
附图说明
[图1]图1是根据本技术的第一实施方式的信息处理系统的示意性配置图。
[图2]图2是示出信息处理系统的每个设备的配置的框图。
[图3]图3是示出信息处理系统的自身位置估计单元的配置的框图。
[图4]图4是示出运动对象的示例的视图。
[图5]图5是用于说明自身位置估计单元的跟踪单元的操作的视图。
[图6]图6是用于说明自身位置估计单元的区域估计单元的操作的视图。
[图7]图7是用于说明自身位置估计单元的区域估计单元的操作的视图。
[图8]图8是示出由自身位置估计单元进行的处理的流程的流程图。
[图9]图9是示出由根据替选实施方式的自身位置估计单元进行的处理的流程的流程图。
[图10]图10是示出在根据本技术的第二实施方式的信息处理系统中的头戴式显示器的视图。
[图11]图11是用于说明信息处理系统的跟踪单元和区域估计单元的操作的视图。
[图12]图12是示出由自身位置估计单元处理的流程的流程图。
[图13]图13是示出由根据替选实施方式的自身位置估计单元处理的流程的流程图。
[图14]图14是根据本技术的第三实施方式的信息处理系统的自身位置估计单元的配置的框图。
[图15]图15是示出由自身位置估计单元的监测单元进行的处理的流程图。
具体实施方式
在下文中，将参照附图描述本技术的实施方式。
附图示出了相互垂直的X轴、Y轴和Z轴。
<第一实施方式>
[信息处理系统100的总体配置]
图1是根据本技术的第一实施方式的信息处理系统100的示意性配置图。
信息处理系统100包括便携式终端30、头戴式显示器70以及控制盒50。信息处理系统100可以包括云系统10。
便携式终端30通常被配置为便携式信息处理装置例如智能电话。便携式终端30可以被配置为平板设备或其他PC(个人计算机)。便携式终端30被通信连接至云系统10。
头戴式显示器70被配置为可安装至作为运动对象M的用户的头部的安装单元。头戴式显示器70包括图像捕获单元72，并且图像捕获单元72捕获穿戴头戴式显示器70的用户周围的图像。
控制盒50被配置为控制单元以控制头戴式显示器70。穿戴头戴式显示器70的用户可以经由控制盒50来操作头戴式显示器70。控制盒50被通信连接至便携式终端30。
云系统10是基于例如诸如因特网的电子通信网络的系统。云系统10包括连接至电子通信网络的服务器计算机。
[信息处理系统100中的每个设备的配置]
图2是示出在信息处理系统100中的便携式终端30、控制盒50、头戴式显示器70以及云系统10的服务器计算机的配置的框图。
(便携式终端30)
便携式终端30包括CPU(中央处理单元)31、存储器32、广域通信单元33、局域通信单元34、触摸面板35、GPS(全球定位系统)接收单元36以及电池39。
CPU 31内含地控制便携式终端30内的每个单元。存储器32存储例如OS(操作系统)、用于各种应用软件的程序、各种数据等。存储器32被配置成可以由CPU 31根据情况存取。
广域通信单元33被配置成通过例如3G(第三代)、LTE(长期演进)等可以与云系统10通信。
局域通信单元34被配置成可以通过例如无线LAN(局域网)无线通信系统例如Wi-Fi、蓝牙(注册商标)，短距离无线通信系统例如红外线等进行通信。局域通信单元34可以被配置成能够使用多个通信系统。
触摸面板35被配置成具有作为用于显示各种信息的显示装置的功能以及作为在其处由用户指定操作的操作单元的功能两者。GPS接收单元36被配置成能够接收来自GPS卫星的位置信息。便携式终端30可以包括其他各种传感器37例如运动传感器、摄像装置等。
(头戴式显示器70)
头戴式显示器70包括显示单元71、图像捕获单元72以及检测单元73。如图1所示，头戴式显示器70包括眼镜框配置，该眼镜框配置具有左边沿和右边沿75、边沿75之间的桥部74以及从边沿75向后延伸的镜腿单元76。以这种方式，头戴式显示器70可穿戴在用户的头部。
显示单元71被配置为设置在左镜腿单元和右镜腿单元76的内侧的小尺寸的投影仪。头戴式显示器70被配置成使得从显示单元71发射的相同的图像光或具有视差的图像光被光导部77引导并且从光导部77的预定区域朝向用户的眼球发射。以这样的方式，将图像提供给用户。
注意，在头戴式显示器70中的显示单元71的配置不限于上述，并且可以根据情况确定。例如，显示单元71可以被设置在仅一侧，即，头戴式显示器70的左侧或右侧。此外，头戴式显示器70不限于投影仪型，而可以包括使用图像光直接照射眼球的显示单元71。
如图1所示，图像捕获单元72包括面向桥部74的前方而设置的第一摄像装置72a，以及面向右镜腿单元76的右侧(向外)的第二摄像装置72b。第一摄像装置72a和第二摄像装置72b被设置使得第一摄像装置72a的光轴Ca和第二摄像装置72b的光轴Cb不平行。例如，第一摄像装置72a的光轴Ca和第二摄像装置72b的光轴Cb可以正交。
摄像装置72a和72b通常被配置为图像传感器例如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦合器件)传感器。
注意，图像捕获单元72可以被配置为具有不相互平行的光轴的多个摄像机构，并且其不限于上述配置。例如，图像捕获单元72可以包括三个或更多个摄像机构。此外，多个摄像机构可以均配置单独的单眼摄像装置。可替选地，多个摄像机构可以将单个立体摄像装置或镜头阵列配置成整体。
此外，图像捕获单元72的摄像装置可以简单地捕获用户周围的图像，并且可以被设置在边沿75、桥部74以及镜腿单元76的任何位置处。例如，图像捕获单元72可以在每个镜腿单元76处包括一个摄像装置。
此外，除了头戴式显示器70之外，图像捕获单元72还可以包括可以安装至用户的摄像装置。例如，图像捕获单元72可以包括可以向上安装至用户的头部的顶部的摄像装置。
检测单元73被配置成检测关于安装有头戴式显示器70的用户的运动的信息。详细地，检测单元73被配置成至少检测用户的运动的旋转运动分量。例如，检测单元73被配置成提供可以分离用户的运动的旋转运动分量和平移运动分量的信息。
检测单元73通常被配置为可以检测用户的方向的传感器例如陀螺仪传感器、地磁传感器以及加速度传感器。此外，检测单元73可以被配置成通过Wi-Fi检测用户的方向。此外，检测单元73可以被配置为声源方向估计设备，其通过发送和接收声信号来检测用户的方向。注意，检测单元73可以通过组合多个配置来提供。
(控制盒50)
控制盒50包括CPU 51、存储器52、局域通信单元54、输入按钮53以及电池59。控制盒50可以被配置为头戴式显示器70的一部分或者可以独立于头戴式显示器70而被配置。
CPU 51内含地对控制单元50内的每个单元以及头戴式显示器70内的每个单元进行控制。存储器52存储：例如OS、用于各种应用软件的程序、各种数据等。存储器52被配置成可以由CPU 51根据情况存取。
局域通信单元54被配置成通过便携式终端30的局域通信单元34的通用通信系统而可以与便携式终端30的局域通信单元34通信。
输入按钮53被设置在控制盒50的前面，并且被配置为控制盒50和头戴式显示器70的操作单元。输入按钮53包括例如显示单元71的打开/关闭按钮和电源按钮。
(云系统10)
云系统10的服务器计算机包括CPU 11、存储器12以及广域通信单元13。
CPU 11内含地控制服务器计算机内的每个单元。存储器12存储例如OS、用于各种应用软件的程序、各种数据等。存储器12被配置成可以由CPU 11根据情况存取。
广域通信单元13被配置成通过便携式终端30的广域通信单元33的通用通信系统而可以与便携式终端30的广域通信单元33通信。
[自身位置估计单元1的配置]
根据该实施方式的信息处理系统100包括自身位置估计单元1。自身位置估计单元1被配置为用于对穿戴头戴式显示器70的用户的位置和姿势进行估计的信息处理装置。详细地，自身位置估计单元1根据用户在紧接任意时刻(t)之前的时刻(t-1)处的位置和姿势来对用户在时刻(t)处的位置和姿势进行估计。
此处，由自身位置估计单元1估计的用户的位置可以例如由三维空间中的坐标表示。此外，由自身位置估计单元1估计的用户的姿势可以例如由用户所指向的方向来表示。此外，自身位置估计单元1可以被配置成使得可以具体地估计用户的姿势。例如，可以估计用户的姿势是站立姿势、坐姿势或躺姿势。
如图2所示，自身位置估计单元1可以被设置在云系统10的服务器计算机、便携式终端30、控制盒50以及头戴式显示器70中的任何位置处。当自身位置估计单元1被设置在头戴式显示器70处时，头戴式显示器70包括用于控制自身位置估计单元1所必需的配置例如存储程序的存储器、CPU等。
自身位置估计单元1被存储在每个设备的CPU和每个设备的存储器中的程序控制。注意，每个设备可以包括不同于CPU的控制单元以控制自身位置估计单元1。不同于CPU的控制单元的示例包括PLD(可编程逻辑器件)例如PGA(现场可编程门阵列)。
图3是示出自身位置估计单元1的配置的框图。自身位置估计单元1包括跟踪单元2、区域估计单元3、数据生成单元4以及估计处理单元5。
(跟踪单元2)
跟踪单元2获取由图像捕获单元72按时序捕获的图像，并且使用每个图像跟踪特征点。具体地，跟踪单元2将特征点在时刻(t-1)处捕获的图像与在时刻(t)处捕获的图像之间进行配对。例如，跟踪单元2可以输出在两个图像中的特征点的行进量(dx，dy)。
由跟踪单元2跟踪特征点的方法不限于特定方法，而可以采用一般方法。例如，跟踪单元2可以通过利用通过图像的亮度图案的模板匹配来跟踪特征点。此外，跟踪单元2可以通过利用通过图像中高度描述的特征量的匹配来跟踪特征点。
图4是示出用于描述跟踪单元2的操作的运动对象M的示例的视图。图4中所示的运动对象M是穿戴如图1简单示出的头戴式显示器70的用户。相应地，第一摄像装置72a被设置在运动对象M的前面，而第二摄像装置72b被设置在运动对象M的右侧。
图5是用于说明跟踪单元2的操作的视图。图5(A)示出了在时刻(t-1)处的状态，图5(B)示出了在紧接该时刻之后的时刻(t)处的状态。运动对象M在时刻(t-1)至时刻(t)之间的运动伴随有旋转运动。因此，运动对象M的方向在图5(A)中所示的时刻(t-1)以及图5(B)中所示的时刻(t)处改变，并且第一摄像装置72a的光轴Ca的方向和第二摄像装置72b的光轴Cb的方向改变。
第一摄像装置72a在图5(A)中所示的时刻(t-1)处捕获图像a1，并且在图5(B)中所示的时刻(t)处捕获图像a2。跟踪单元2获取由第一摄像装置72a捕获的图像a1和图像a2，检测来自图像a1的特征点P1，并且检测来自图像a2的特征点P2。然后，跟踪单元2对图像a1和图像a2共有的特征点P12进行配对。
跟踪单元2针对图像a1和图像a2共有的每个特征点P12设置跟踪分数。跟踪分数针对图像a1和图像a2中的每个特征点P12的一致度进行数值转换。具体地，特征点P12跟踪分数越高，在图像a1和图像a中的配对性越佳，导致高的可靠性。相反地，特征点P12的跟踪分数越低，在图像a1和图像a2中的配对性越低，这导致具有较低可靠性。
例如，当特征点P12周围的特征量在图像a1与图像a2中很好的配对时，跟踪单元2将特征点P12的跟踪分数设置为高。相反地，当特征点P12周围的特征量在图像a1与图像a2中未充分地配对时，跟踪单元2将特征点P12的跟踪分数设置为低。
此外，存在以下高的可能性：在图像a1和图像a2中至少之一的中心区域内的特征点P12会在运动对象M的运动之前和之后都被包括在图像a1和图像a2两者中。因此，跟踪单元2可以将在图像a1和图像a2中至少之一的中心区域内的特征点P12的跟踪分数设置为高。
跟踪单元2针对所有特征点P12添加关于用于指定捕获特征点P12的摄像装置的标签、特征点P12在图像a1和图像a2中的坐标、特征点P12的跟踪分数等的信息，并且生成输出数据。然后，跟踪单元2将生成的输出数据输出至数据生成单元4。
在上文中，描绘了使用由第一摄像装置72a捕获的图像来对跟踪单元2中的特征点进行跟踪的操作。然而，跟踪单元2类似地跟踪在第二摄像装置72b捕获的图像中的特征点。
如上所述，对于根据该实施方式由跟踪单元2对特征点的跟踪，使用从运动对象M沿不同方向捕获的多个图像。因此，当难以跟踪多个图像中的某个图像中的特征点时，跟踪单元2可以跟踪其他图像中的特征点。因此，根据该实施方式的跟踪单元2可以以较大确定性获取关于特征点的跟踪结果。
(区域估计单元3)
区域估计单元3获取由检测单元73生成的关于运动对象M的运动的信息，并且基于该信息对区域进行估计。具体地，区域估计单元3对在运动对象M的运动之前和之后围绕运动对象M的区域中的以下区域进行估计：在该区域中，从运动对象M看到的特征点的二维位置较少改变，即，在该区域中，从运动对象M看到的特征点的方向较少改变。
当由区域估计单元3估计的区域被图像捕获单元72捕获到时，存在以下高可能性：在运动对象M的运动之前捕获的图像中的特征点也被包括在运动对象M的运动之后捕获的图像中。因此，在捕获由区域估计单元3估计的区域图像中，可以在运动对象M的运动之前和之后配对更多的特征点。
图6、图7是用于说明区域估计单元3的操作的视图。图6(A)和图7(A)均是透视图，而图6(B)和图7(B)均是平面图。
图6示出了在时刻(t-1)处的状态，以及图7示出了在紧接时刻(t-1)之后的时刻(t)处的状态。运动对象M在时刻(t-1)至时刻(t)之间的运动伴随有旋转运动。因此，运动对象M的方向在图6中所示的时刻(t-1)处以及图7中所示的时刻(t)处改变，并且第一摄像装置72a的光轴Ca的方向和第二摄像装置72b的光轴Cb的方向改变。
第一摄像装置72a在图6中所示的时刻(t-1)处捕获图像a1，并且在图7中所示的时刻(t)处捕获图像a2。第二摄像装置72b在图6中所示的时刻(t-1)处捕获图像b1，并且在图7中所示的时刻(t)处捕获图像b2。
当运动对象M在时刻(t-1)至时刻(t)之间的运动伴随有旋转运动和平移运动时，由图像捕获单元72捕获的区域由旋转运动带来的改变比由平移运动带来的改变更大。因此，与运动对象M的平移运动相比，根据该实施方式的区域估计单元3更强调运动对象M的旋转运动。
详细地，区域估计单元3在配置摄像装置捕获单元72的多个摄像装置中选择捕获被运动对象M的旋转运动较少改变的区域的摄像装置。也就是说，在多个摄像装置中选择可以将在运动对象M的运动之前或之后捕获的图像中的更多的特征点进行配对的摄像装置。
具体地，区域估计单元3基于由检测单元73生成的信息来计算运动对象M的旋转运动(围绕作为中心的运动对象M的自旋转运动)的旋转轴R。然后，区域估计单元3计算旋转轴R与各个摄像装置72a、72b的光轴Ca、Cb之间的角。
换言之，区域估计单元3计算旋转轴R与第一摄像装置72a的光轴Ca之间的角θa以及旋转轴R与第二摄像装置72b的光轴Cb之间的角θb。注意，当计算角θa和角θb时，可以根据情况使旋转轴R和光轴Ca、Cb平行运动。
如图7所示，在具有大的角θa的第一摄像装置72a中，在时刻(t)处捕获的图像a2相对于在时刻(t-1)处捕获的图像a1大幅度运动。因此，在时刻(t-1)处捕获的图像a1中包括的特征点P1相对于在时刻(t)处捕获的图像a2大幅度偏离。
如上所述，存在以下高可能性：由具有大的角θa的第一摄像装置72a捕获的图像a1和图像a2共有的特征点P12可能不存在。换言之，存在以下高可能性：由跟踪单元2从图像a1和图像a2提取的特征点P12会通过错误跟踪而被获取，其是低可靠性的。
另一方面，如图7所示，在具有小角θb的第二摄像装置72b中，在时刻(t)处捕获的图像b2相对于在时刻(t-1)处捕获的图像b1运动较少。因此，在时刻(t-1)处捕获的图像b1中包括的特征点P1也被包括在于时刻(t)处捕获的图像b2中。
因此，存在以下高可能性：由具有小的角θb的第二摄像装置72b捕获的图像a1和图像a2共有的特征点P12可以存在。换言之，存在以下高可能性：由跟踪单元2从图像b1和图像b2提取的特征点P12可以通过正确跟踪而获取，其是高可靠性的。
因此，区域估计单元3在配置图像捕获单元72的多个摄像装置中选择具有以下光轴的摄像装置：旋转轴与光轴之间的角最小。也就是说，区域估计单元3估计出：由所选择的摄像装置捕获的区域是从运动对象M看到的二维位置变化在运动对象M的运动之前和之后较少改变的地方。
在图6、图7所示的示例中，因为由第二摄像装置72b形成的角θb小于由第一摄像装置72a形成的角θa，因此，区域估计单元3选择第二摄像装置72b。
区域估计单元3生成指定所选择摄像装置的输出数据。然后，区域估计单元3将生成的输出数据输出至数据生成单元4。
注意，当由区域估计单元3计算运动对象M的旋转轴时，除了由检测单元73生成的信息之外，还可以利用其他信息，或者替代由检测单元73生成的信息。其他信息的示例，例如，包括由卡尔曼滤波器获取的信息。具体地，区域估计单元3可以根据在卡尔曼滤波器预测运动对象M在时刻(t-1)处和时刻(t)处的姿势来计算运动对象M的旋转轴。
此外，区域估计单元3可能不必计算运动对象M的旋转轴。换言之，区域估计单元3可以不通过使用运动对象M的旋转轴来估计在运动对象M的运动之前和之后从运动对象M看到的特征点的二维位置变化较少改变的区域。例如，区域估计单元3可以根据运动对象M的旋转运动和平移运动的运动轨迹来直接计算从运动对象M看到的特征点的方向被预期为较少改变的区域。
(数据生成单元4)
数据生成单元4获取跟踪单元2的输出数据和区域估计单元3的输出数据。然后，数据生成单元4从跟踪单元2配对的特征点中提取区域估计单元3选择的摄像装置捕获的图像中包括的特征点。存在以下高可能性：区域估计单元3选择的摄像装置捕获的图像共同包括特征点，从而由数据生成单元4提取具有较高可靠性的特征点。
具体地，数据生成单元4在跟踪单元2配对的特征点P12中提取被区域估计单元3选择的第二摄像装置72b标记的特征点P12。
此外，数据生成单元4从上述提取的特征点中再次提取其中跟踪分数满足预定阈值的特征点。可以任意设置预定阈值。如上所述，特征点的跟踪分数越高，则可靠性越高。数据生成单元4可以缩小具有较高可靠性的特征点。
数据生成单元4为提取的特征点添加关于以下的信息并且生成输出数据：用于指定捕获特征点的摄像装置的标签、在运动对象M的运动之前和之后的图像中的特征点的坐标、特征点的跟踪分数等。然后，跟踪单元2将生成的输出数据输出至估计处理单元5。
(估计处理单元5)
估计处理单元5使用来自数据生成单元4的输出数据来对运动对象M进行自身位置估计。具体地，估计处理单元5使用由数据生成单元4提取的特征点来根据运动对象M在时刻(t-1)处的位置和姿势而估计运动对象M在时刻(t)处的位置和姿势。
对于通过估计处理单元5对运动对象M进行的自身位置估计而言，任何方法都是可用的。例如，估计处理单元5可以根据从数据生成单元4提取的特征点使用卡尔曼滤波器的算法来对运动对象M进行自身位置估计。
如上所述，由数据生成单元4提取的特征点在时刻(t-1)处捕获的图像与在时刻(t)处捕获的图像之间以高可靠性配对。以这样的方式，根据该实施方式的自身位置估计单元1允许通过估计处理单元5使用具有高可靠性的特征点以高精度进行运动对象M的自身位置估计。
此外，如上所述，估计处理单元5没有将未被区域估计单元3选择的摄像装置捕获的图像中包括的特征点用于对运动对象M的位置估计。具体地，根据该实施方式的自身位置估计单元1不使用具有低可靠性的特征点，而仅使用具有高可靠性的特征点。可以通过估计处理单元5实现对运动对象M的有效自身位置估计。
[通过自身位置估计单元1进行的信息处理方法]
图8是示出由根据该实施方式的自身位置估计单元进行的处理的流程的流程图。参照图8，将描述通过自身位置估计单元1进行的信息处理方法。
(步骤S1-01至步骤S1-04)
由跟踪单元2执行步骤S1-01至步骤S1-04。跟踪单元2获取由图像捕获单元72捕获的图像(步骤S1-01)，将获取的图像中包括的特征点进行配对(步骤S1-02)，在所配对的特征点中设置跟踪分数(步骤S1-03)，生成输出数据(步骤S1-04)并且将生成的数据输出至数据生成单元4。
(步骤S1-05至步骤S1-08)
由区域估计单元3执行步骤S1-05至步骤S1-08。区域估计单元3获取由检测单元73生成的关于运动对象M的信息(步骤S1-05)，根据获取的信息计算运动对象M的旋转运动的旋转轴(步骤S1-06)，计算在所计算的旋转轴与每个摄像装置的光轴之间的角(步骤S1-07)，基于所计算的角来选择摄像装置(步骤S1-08)，并且将指定所选择摄像装置的数据输出至数据生成单元4。
(步骤S1-09至步骤S1-14)
由数据生成单元4执行步骤S1-09至步骤S1-14。数据生成单元4从通过跟踪单元2输入的特征点中提取从区域估计单元3输入的摄像装置捕获的图像中包括的特征点(步骤S1-09)。数据生成单元4获取一个提取的特征点(步骤S1-10)，并且确定该特征点的跟踪分数是否满足阈值(步骤S1-11)。
当数据生成单元4获取的特征点的跟踪分数不满足阈值时，返回步骤S1-10。当数据生成单元4获取的特征点的跟踪分数满足阈值时，将该特征点添加至输出数据(步骤S1-12)，并且确定输出数据中的特征点的数量是否足够(步骤S1-13)。当特征点的数量不足时，返回步骤S1-10。当输出数据中的特征点的数量足够时，将生成的数据输出至估计处理单元5。
(步骤S1-15)
由估计处理单元5执行步骤S1-15。估计处理单元5使用数据生成单元4的输出数据来对运动对象M进行自身位置估计。
[替选实施方式]
图9是示出由根据实施方式的替选实施方式的由自身位置估计单元1进行的处理的流程的流程图。根据替选实施方式的信息处理方法与图8中所示的信息处理方法的不同之处在于在跟踪单元2进行的步骤S1-01至步骤S1-04之前执行通过区域估计单元3进行的步骤S1-05至步骤S1-08。参照图9，将描述根据替选实施方式的信息处理方法。
首先，在步骤S1-05至步骤S1-08中，区域估计单元3选择摄像装置并且将指定所选择摄像装置的数据输出至跟踪单元2。跟踪单元2获取区域估计单元3选择的摄像装置捕获的图像(步骤S1-01)，将在获取的图像中包括的特征点进行配对(步骤S1-02)，对所配对的特征点设置跟踪分数(步骤S1-03)，生成输出数据(步骤S1-04)并且将生成的数据输出至数据生成单元4。
因为从跟踪单元2输入至数据生成单元4的数据仅包括在区域估计单元3选择的摄像装置捕获的图像中包括的特征点，因此在根据替选实施方式的信息处理方法中无需执行图8中的对特征点的提取(步骤S1-09)。
图9中的步骤S1-10至步骤S1-15与图8中的步骤S1-10至步骤S1-15类似。
在根据替选实施方式的信息处理方法中，跟踪单元2不使用区域估计单元3没有选择的摄像装置捕获的图像，而是仅使用区域估计单元3选择的摄像装置捕获的图像，从而有效跟踪是可能的。
<第二实施方式>
图10是示出在根据本技术的第二实施方式的信息处理系统100中的头戴式显示器70的视图。在根据该实施方式的信息处理系统100中，图像捕获单元72的配置，以及由自身位置估计单元1进行的信息处理方法不同于根据第一实施方式的信息处理系统100。在下文中，与第一实施方式中的信息处理系统100对应的根据该实施方式的信息处理系统100的配置由相同的附图标记表示，因此，将在下文中省略对根据该实施方式的信息处理系统100的配置的详细描述。
根据该实施方式的信息处理系统100，图像捕获单元72被配置为具有180°视角的摄像装置，并且其前部被朝向头戴式显示器70的桥单元74设置。此外，图像捕获单元72具有光轴D，并且可以捕获将光轴D作为中心的图像d。
图像捕获单元72优选地是广视角摄像装置。特别优选地，图像捕获单元72的视角是90°或大于90°。注意，图像捕获单元72的摄像装置配置不限于特定类型，并且可以例如是广角摄像装置、鱼眼摄像装置、全景摄像装置等中的任一个。
图11是用于说明根据该实施方式的信息处理系统100的跟踪单元2和区域估计单元3的操作的视图。在图11中，简化了运动对象M，而仅示出了图像捕获单元72。
图11(A)示出了在时刻(t-1)处的状态，图11(B)示出了在紧接时刻(t-1)之后的时刻(t)处的状态。运动对象M在时刻(t-1)至时刻(t)之间的运动伴随有旋转运动。因此，在图11(A)中所示的时刻(t-1)处以及在图11(B)中所示的时刻(t)处，运动对象M的方向改变，并且图像捕获单元72的光轴D的方向改变。
图像捕获单元72在图11(A)中所示的时刻(t-1)处捕获图像d1，并且在图11(B)中所示的时刻(t)处捕获图像d2。
跟踪单元2获取由图像捕获单元72捕获的图像d1和图像d2，检测来自图像d1的特征点P1，并且检测来自图像d2的特征点P2。然后，跟踪单元2对图像d1和图像d2共有的特征点P12进行配对。
如上所述，根据该实施方式的跟踪单元2用于跟踪由具有广视角的图像捕获单元72捕获的图像。因为具有广视角的图像捕获单元72可以在较广的范围中捕获特征点，其可以防止跟踪单元2对特征点的跟踪不可能。
区域估计单元3基于由检测单元73生成的关于运动对象M的运动的信息来计算运动对象M的旋转运动(围绕作为中心的运动对象M的自旋转运动)的旋转轴R。然后，区域估计单元3选择旋转轴R穿过的区域。换言之，区域估计单元3估计在运动对象M的运动之前和之后从运动对象M看到的特征点的二维位置较少改变的区域。
数据生成单元4从在时刻(t-1)处捕获的图像d1和在时刻(t)处捕获的图像d2剪切出由区域估计单元3估计的区域，并且生成修剪图像E作为由数据生成单元4处理的图像。也就是说，区域估计单元3将数据生成单元4对图像d1和图像d2的处理区域限制到估计单元3估计的区域。
可以根据情况确定修剪图像E的尺寸(由区域估计单元3估计的区域的尺寸)。例如，当预期在运动对象M的运动之前和之后从运动对象M看到的特征点的二维位置相对大地改变时，区域估计单元3可以放大修剪图像E。
作为示例，当运动对象M的旋转运动的角速度为大时，从运动对象M看到的特征点的二维位置趋向于大幅度改变。因此，当运动对象M的旋转运动的角速度为大时，区域估计单元3放大修剪图像E。这使得能够确保在修剪图像E中包括足够数量的特征点。
相反，当运动对象M的旋转运动的角速度为小时，区域估计单元3缩小修剪图像E。这使得数据生成单元4和估计处理单元5中的处理是高效的。
此外，当运动对象M的运动除了旋转运动之外还伴随有平移运动时，从运动对象M看到的特征点的二维位置趋向于偏离。因此，当运动对象M的旋转运动伴随有平移运动时，区域估计单元3放大修剪图像E。这使得能够确保在修剪图像E中包括足够数量的特征点。
此外，可以任意地确定修剪图像E的形状(由区域估计单元3估计的区域的形状)。修剪图像E的形状的示例包括除了图11中所示的圆形以外的诸如矩形的多边形、椭圆形等。
图12是示出由根据该实施方式的自身位置估计单元1进行的处理的流程的流程图。参照图12，将描述由自身位置估计单元1进行的信息处理方法。
(步骤S2-01至步骤S2-04)
由跟踪单元2执行步骤S2-01至步骤S2-04。跟踪单元2获取由图像捕获单元72捕获的图像(步骤S2-01)，将在获取的图像中包括的特征点进行配对(步骤S2-02)，针对所配对的特征点设置跟踪分数(步骤S2-03)，生成输出数据(步骤S2-04)并且将生成的数据输出至数据生成单元4。
(步骤S2-05至步骤S2-08)
由区域估计单元3执行步骤S2-05至步骤S2-08。区域估计单元3获取由检测单元73生成的关于运动对象M的运动的信息(步骤S2-05)，根据获取的信息计算运动对象M的旋转运动的旋转轴(步骤S2-06)，选择穿过所计算的旋转轴的区域(步骤S2-07)，并且将指定所选择区域的数据输出至数据生成单元4。
(步骤S2-08至步骤S2-15)
由数据生成单元4执行步骤S2-08至步骤S2-14,并且由估计处理单元5执行步骤S2-15。数据生成单元4从区域估计单元3估计的区域剪切出由图像捕获单元72捕获的图像，并且生成修剪图像E(S2-08)。数据生成单元4从跟踪单元2配对的特征点中提取在修剪图像中包括的特征点(步骤S2-09)。
步骤S2-10至步骤S2-15与图8中的步骤S1-10至步骤S1-15类似。
[替选实施方式]
图13是示出由根据实施方式的替选实施方式的自身位置估计单元1进行的处理的流程的流程图。根据替选实施方式的信息处理方法与图12中所示的信息处理方法的不同之处在于在跟踪单元2执行步骤S2-01至步骤S2-04之前由区域估计单元3执行步骤S2-05至步骤S2-07。参照图13，将描述根据替选实施方式的信息处理方法。
首先，在步骤S2-05至步骤S2-07中，将指定由区域估计单元3选择的区域的数据输出至跟踪单元2。跟踪单元2获取由图像捕获单元72捕获的图像(步骤S2-01)，从获取的图像剪切出由区域估计单元3估计的区域，并且生成修剪图像(步骤S2-08)。在可替选实施方式中，跟踪单元2用作用于生成修剪图像的数据生成单元。
跟踪单元2将在修剪图像中包括的特征点进行配对(步骤S2-02)，针对所配对的特征点设置跟踪分数(步骤S2-03)，生成输出数据(步骤S2-04)并且将生成的数据输出至数据生成单元4。
因为从跟踪单元2输入至数据生成单元4的数据仅包括在区域估计单元3选择的区域中包括的特征点，因此在根据替选实施方式的信息处理方法中无需执行图12中的对特征点的提取(步骤S2-09)。
图13中的步骤S2-09至步骤S2-15与图12中的步骤S2-09至步骤S2-15类似。
在根据替选实施方式的信息处理方法中，跟踪单元2仅使用来自图像捕获单元72捕获的图像的修剪图像而不使用除修剪图像之外的区域，从而有效跟踪是可能的。
<第三实施方式>
图14是根据本技术的第三实施方式的信息处理系统100的自身位置估计单元1的配置的框图。在根据该实施方式的信息处理系统100中，自身位置估计单元1的配置和通过自身位置估计单元1进行的信息处理方法不同于根据第一实施方式的信息处理系统100。在下文中，与第一实施方式中的信息处理系统100配对的根据该实施方式的信息处理系统100的配置由相同的附图标记表示，因此，将在下文中省略对根据该实施方式的信息处理系统100的配置的详细描述。
根据该实施方式的自身位置估计单元1包括监测单元6。在根据该实施方式的自身位置估计单元1中，类似于第一实施方式，估计处理单元5通过来自监测单元6的输出数据对运动对象M进行第二自身位置估计而与通过来自数据生成单元4的输出数据进行的对运动对象M的第一自身位置估计无关。换言之，估计处理单元5以两种方式对运动对象M进行自身位置估计。
监测单元6通过在时间上连续地参考由检测单元73生成的信息来监测运动对象M的位置和姿势的时序变化。监测单元6通过对运动对象M的监测的结果来生成输出数据，并且将生成的数据输出至估计处理单元5。估计处理单元5基于由监测单元6对运动对象M的监测的结果来而估计运动对象M在时刻(t)处的位置和姿势。
因为监测单元6的输出数据是通过在时间上连续地参考由检测单元73生成的信息而获取的，因此难以受检测单元73的误检测而造成的在时间上不连续的数据的影响。因此，在根据该实施方式的自身位置估计单元1中，通过互补性地利用由监视单元6对运动物体M的第二自身位置估计以及通过来自数据生成单元4的输出数据对运动物体M的第一自身位置估计，可以进行对运动物体M的高精度自身位置估计。
此外，在根据该实施方式的自身位置估计单元1中，可以通过引入对运动对象M的运动进行建模的运动模型来有效地进行由监测单元6进行的输出数据生成以及由估计处理单元5使用来自监测单元6的输出数据进行的第二自身位置估计。运动模型是对由运动对象M容易地进行的操作进行建模的模型。与运动对象M配对的运动模型是预先设置的。
具体地，监测单元6通过确定运动对象M处于均匀运动、减速运动或加速运动或者速度是否改变，或者通过计算速度变化率而根据提前设置的运动模型来估计运动对象M的操作的运动模型，根据估计结果生成输出数据，并且将生成的数据输出至估计处理单元5。估计处理单元5基于由监测单元6估计的运动模型来估计运动对象M在时刻(t)处的位置和姿势。
例如，当运动对象M是穿戴头戴式显示器70的用户时，设置对由人容易地进行的运动进行建模的运动模型。运动模型的示例包括静态运动模型、步行运动模型以及跑步运动模型。注意，可以任意地确定设置的运动模型的类型和数量。
图15是示出由监测单元6进行的处理的示例的流程图。首先，监测单元6确定运动对象M是否处于静止状态(步骤S3-01)。例如，当未检测到运动对象M的运动时，确定运动对象M处于静止状态。当运动对象M处于静止状态时，监测单元6确定运动对象M的运动模型为静止运动模型。
当运动对象M不处于静止状态时，监测单元6确定运动对象M是否处于步行状态(步骤S3-02)。例如，当检测到运动对象M的在预定第一范围(例如，从3km每小时至6km每小时的范围)内的均匀运动时，确定运动对象M处于步行状态。当运动对象M处于步行状态时，监测单元6确定运动对象M的运动模型为步行运动模型。
当运动对象M不处于步行状态时，监测单元6确定运动对象M是否处于跑步状态(步骤S3-03)。例如，当检测到运动对象M的在预定第二范围(例如，从7km每小时至10km每小时的范围)内的均匀运动时，确定运动对象M处于跑步状态。当运动对象M处于跑步状态时，监测单元6确定运动对象M的运动模型为跑步运动模型。
当运动对象M也不处于跑步状态时，监测单元6确定运动对象M的运动模型为默认运动模型。
当监测单元6将运动对象M的运动模型确定为静止运动模型时，监测单元6生成用于指定静止运动模型的输出数据，并且将生成的数据输出至估计处理单元5。估计处理单元5基于监测单元6的输出数据根据运动对象M在时刻(t-1)处的位置估计出运动对象M在时刻(t)处的位置未改变。
当监测单元6确定运动对象M的运动模型为步行运动模型时，监测单元6生成用于指定步行运动模型的输出数据，并且将生成的数据输出至估计处理单元5。估计处理单元5基于监测单元6的输出数据根据运动对象M在时刻(t-1)处的位置来估计运动对象M在时刻(t)处的位置。
当监测单元6确定运动对象M的运动模型为跑步运动模型时，监测单元6生成用于指定跑步运动模型的输出数据，并且将生成的数据输出至估计处理单元5。估计处理单元5基于监测单元6的输出数据根据运动对象M在时刻(t-1)处的位置来估计运动对象M在时刻(t)处的位置。
当监测单元6确定运动对象M的运动模型为默认运动模型时，监测单元6生成不指定运动模型的输出数据。换言之，监测单元6将运动对象M的位置和姿势的时序变化的监测结果原样输出至估计处理单元5。估计处理单元5基于由监测单元6监测的运动对象M的位置和姿势的时序变化来估计运动对象M在时刻(t)处的位置和姿势。
在根据该实施方式的自身位置估计单元1中，检测单元73可以被配置成能够检测由控制系统进行的关于受电子控制系统、机械控制系统或光学控制系统控制的运动对象M的运动的控制内容。在这种情况下，监测单元6可以通过在时间上连续地参考控制系统的控制内容来监测运动对象M的位置和姿势的时序变化。
作为示例，当运动对象M是其中运动是受例如诸如乘用车的转向设备或加速器踏板控制的登机型装置时，检测单元73被配置成能够检测转向装置或加速器踏板的操作量。监测单元6通过在时间上连续地参考由检测单元73检测的转向装置或加速器踏板的操作量来监测运动对象M的位置和姿势的时序变化。
当运动对象M是具有自主行为功能的机器人时，检测单元73被配置成能够检测控制信号。监测单元6通过在时间上连续地参考由检测单元73检测的控制信号来监测运动对象M的位置和姿势的时序变化。
<其他实施方式>
虽然描述了本技术的实施方式，但是应当理解，本技术不限于上述实施方式，可以在不背离本技术的范围的情况下进行变型和修改。
例如，在实施方式中，虽然运动对象M被主要描述为穿戴头戴式显示器的用户，但是本技术适用于任何运动对象M。适用本技术的运动对象M的示例包括人、交通工具、机器人、动物等。在任何情况下，可以通过在运动对象M上设置图像捕获单元和检测单元而根据本技术对运动对象M进行自身位置估计。
本技术还可以具有以下配置。
(1)一种信息处理装置，包括：
跟踪单元，所述跟踪单元获取由设置在运动对象处的图像捕获单元捕获的图像，并且将在运动之前捕获的图像和所述运动之后捕获的图像中包括的特征点进行配对，所述运动对象的运动伴随有旋转运动；
区域估计单元，所述区域估计单元获取关于运动的信息，并且基于所述信息来对在所述运动对象的运动之前和之后从所述运动对象看到特征点的二维位置较少改变的区域进行估计；以及
估计处理单元，所述估计处理单元使用由所述跟踪单元配对的所述区域内的特征点来对所述运动对象进行自身位置估计。
(2)根据(1)所述的信息处理装置，其中，
所述区域估计单元计算所述旋转运动的旋转轴，并且使用所述旋转轴来估计所述区域。
(3)根据(1)所述的信息处理装置，其中，
所述图像捕获单元包括多个摄像机构，所述多个摄像机构具有不相互平行的光轴，
所述区域估计单元在所述多个摄像机构中选择具有以下光轴的所述摄像机构：所述旋转轴与所述光轴之间的角最小，以及
所述估计处理单元使用所述区域估计单元选择的所述摄像机构捕获的图像中包括的特征点来对所述运动对象进行自身位置估计。
(4)根据(3)所述的信息处理装置，还包括，
数据生成单元，所述数据生成单元从所述跟踪单元配对的所述特征点中提取所述区域估计单元选择的所述摄像机构捕获的图像中包括的特征点，其中，
所述估计处理单元使用由所述数据生成单元提取的特征点来对所述运动对象进行自身位置估计。
(5)根据(3)所述的信息处理装置，其中，
所述跟踪单元将所述区域估计单元选择的所述摄像机构捕获的图像中包括的特征点进行配对。
(6)根据(2)所述的信息处理装置，其中，
所述区域估计单元估计所述区域，使得所述旋转轴穿过所述区域。
(7)根据(6)所述的信息处理装置，其中，
所述图像捕获单元具有90°或大于90°的视角。
(8)根据(6)或(7)所述的信息处理装置，还包括：
数据生成单元，所述数据生成单元将所述图像的处理区域限制在所述区域内，其中，
所述估计处理单元使用在所述处理区域中包括的特征点来对所述运动对象进行自身位置估计。
(9)根据(8)所述的信息处理装置，其中，
所述数据生成单元从所述跟踪单元配对的特征点中提取所述处理区域中包括的特征点，以及
所述估计处理单元使用由所述数据生成单元提取的特征点来对所述运动对象进行自身位置估计。
(10)根据(8)所述的信息处理装置，其中，
所述跟踪单元将在所述处理区域中包括的特征点进行配对。
(11)根据(8)至(10)中任一项所述的信息处理装置，其中，
当所述旋转运动的角速度为大时，所述区域估计单元放大所述处理区域。
(12)根据(8)至(11)中任一项所述的信息处理装置，其中，
当所述运动伴随有平移运动时，所述区域估计单元放大所述处理区域。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中，
所述跟踪单元针对每个所配对的特征点设置跟踪分数，所述跟踪分数表明在运动之前捕获的图像和在运动之后捕获的图像中的特征点的一致度，以及
所述估计处理单元使用具有高跟踪分数的特征点来对所述运动对象进行自身位置估计。
(14)根据(13)所述的信息处理装置，其中，
所述跟踪单元将在运动之前捕获的图像与在运动之后捕获的图像中至少之一的中心区域内的特征点的跟踪分数设置为高。
(15)根据(1)至(14)中任一项所述的信息处理装置，其中，
所述信息使用陀螺仪传感器、地磁传感器、加速度传感器、声源方向估计设备以及Wi-Fi中的至少之一来生成。
(16)根据(1)至(15)中任一项所述的信息处理装置，还包括：
监测单元，所述监测单元通过所述信息对所述运动对象进行监测，其中，
所述估计处理单元基于所述监测单元的监测的结果与自身位置估计无关地对所述运动对象进行自身位置估计。
(17)根据(16)所述的信息处理装置，其中，
所述监测单元对所述运动对象的运动模型进行估计，以及
所述估计处理单元使用由所述监测单元估计的运动模型来对所述运动对象进行自身位置估计。
(18)根据(1)至(17)中任一项所述的信息处理装置，还包括：
头戴式显示器，所述头戴式显示器具有所述图像捕获单元和能够生成所述信息的检测单元，所述头戴式显示器被配置成能够安装至作为所述运动对象的用户的头部。
(19)一种信息处理方法，包括：
由设置在运动对象处的图像捕获单元来捕获图像，所述运动对象的运动伴随有旋转运动；
将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对；
生成关于所述运动的信息；
基于所述信息来对在所述运动对象的运动之前和之后从所述运动对象看到特征点的二维位置较少改变的区域进行估计；以及
使用在所述区域内的所配对的特征点来对所述运动对象进行自身位置估计。
(20)一种要由信息处理装置执行的程序，所述程序包括以下步骤：
获取由设置在运动对象处的图像捕获单元捕获的图像，并且将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对，所述运动对象的运动伴随有旋转运动；
获取关于所述运动的信息，并且基于所述信息来对在所述运动对象的运动之前和之后从所述运动对象看到特征点的二维位置较少改变的区域进行估计；以及
使用在所述区域内的所配对的特征点来对所述运动对象进行自身位置估计。
附图标记列表
1 自身位置估计单元
2 跟踪单元
3 区域估计单元
4 数据生成单元
5 估计处理单元
10 云系统
30 便携式终端
50 控制盒
70 头戴式显示器
72 图像捕获单元
72a,72b 摄像装置
73 检测单元
M 运动对象

Claims (20)

1.一种信息处理装置，包括：
跟踪单元，所述跟踪单元获取由设置在运动对象处的图像捕获单元捕获的图像，并且将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对，所述运动对象的运动伴随有旋转运动；
区域估计单元，所述区域估计单元获取关于运动的信息，并且基于所述信息来对在所述运动对象的运动之前和之后从所述运动对象看到特征点的二维位置较少改变的区域进行估计；以及
估计处理单元，所述估计处理单元使用由所述跟踪单元配对的所述区域内的特征点来对所述运动对象进行自身位置估计。
2.根据权利要求1所述的信息处理装置，其中，
所述区域估计单元计算所述旋转运动的旋转轴，并且使用所述旋转轴来估计所述区域。
3.根据权利要求2所述的信息处理装置，其中，
所述图像捕获单元包括多个摄像机构，所述多个摄像机构具有不相互平行的光轴，
所述区域估计单元在所述多个摄像机构中选择具有以下光轴的摄像机构：所述旋转轴与所述光轴之间的角最小，以及
所述估计处理单元使用所述区域估计单元选择的摄像机构捕获的图像中包括的特征点来对所述运动对象进行自身位置估计。
4.根据权利要求3所述的信息处理装置，还包括，
数据生成单元，所述数据生成单元从所述跟踪单元配对的特征点中提取所述区域估计单元选择的摄像机构捕获的图像中包括的特征点，其中，
所述估计处理单元使用由所述数据生成单元提取的特征点来对所述运动对象进行自身位置估计。
5.根据权利要求3所述的信息处理装置，其中，
所述跟踪单元将所述区域估计单元选择的摄像机构捕获的图像中包括的特征点进行配对。
6.根据权利要求2所述的信息处理装置，其中，
所述区域估计单元估计所述区域，使得所述旋转轴穿过所述区域。
7.根据权利要求6所述的信息处理装置，其中，
所述图像捕获单元具有90°或大于90°的视角。
8.根据权利要求6所述的信息处理装置，还包括：
数据生成单元，所述数据生成单元将所述图像的处理区域限制在所述区域内，其中，
所述估计处理单元使用在所述处理区域中包括的特征点来对所述运动对象进行自身位置估计。
9.根据权利要求8所述的信息处理装置，其中，
所述数据生成单元从所述跟踪单元配对的特征点中提取所述处理区域中包括的特征点，以及
所述估计处理单元使用由所述数据生成单元提取的特征点来对所述运动对象进行自身位置估计。
10.根据权利要求8所述的信息处理装置，其中，
所述跟踪单元将在所述处理区域中包括的特征点进行配对。
11.根据权利要求8所述的信息处理装置，其中，
当所述旋转运动的角速度为大时，所述区域估计单元放大所述处理区域。
12.根据权利要求8所述的信息处理装置，其中，
当所述运动伴随有平移运动时，所述区域估计单元放大所述处理区域。
13.根据权利要求1所述的信息处理装置，其中，
所述跟踪单元针对每个所配对的特征点设置跟踪分数，所述跟踪分数表明在运动之前捕获的图像和在运动之后捕获的图像中的特征点的一致度，以及
所述估计处理单元使用具有高跟踪分数的特征点来对所述运动对象进行自身位置估计。
14.根据权利要求13所述的信息处理装置，其中，
所述跟踪单元将在运动之前捕获的图像与在运动之后捕获的图像中至少之一的中心区域内的特征点的跟踪分数设置为高。
15.根据权利要求1所述的信息处理装置，其中，
所述信息使用陀螺仪传感器、地磁传感器、加速度传感器、声源方向估计设备以及Wi-Fi中的至少之一来生成。
16.根据权利要求1所述的信息处理装置，还包括：
监测单元，所述监测单元通过所述信息对所述运动对象进行监测，其中，
所述估计处理单元基于所述监测单元的监测的结果与自身位置估计无关地对所述运动对象进行自身位置估计。
17.根据权利要求16所述的信息处理装置，其中，
所述监测单元对所述运动对象的运动模型进行估计，以及
所述估计处理单元使用由所述监测单元估计的运动模型来对所述运动对象进行自身位置估计。
18.根据权利要求1所述的信息处理装置，还包括：
头戴式显示器，所述头戴式显示器具有所述图像捕获单元和能够生成所述信息的检测单元，所述头戴式显示器被配置成能够安装至作为所述运动对象的用户的头部。
19.一种信息处理方法，包括：
由设置在运动对象处的图像捕获单元来捕获图像，所述运动对象的运动伴随有旋转运动；
将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对；
生成关于所述运动的信息；
基于所述信息来对在所述运动对象的运动之前和之后从所述运动对象看到特征点的二维位置较少改变的区域进行估计；以及
使用在所述区域内的所配对的特征点来对所述运动对象进行自身位置估计。
20.一种要由信息处理装置执行的程序，所述程序包括以下步骤：
获取由设置在运动对象处的图像捕获单元捕获的图像，并且将在运动之前捕获的图像和运动之后捕获的图像中包括的特征点进行配对，所述运动对象的运动伴随有旋转运动；
获取关于所述运动的信息，并且基于所述信息来对在所述运动对象的运动之前和之后从所述运动对象看到特征点的二维位置较少改变的区域进行估计；以及
使用在所述区域内的所配对的特征点来对所述运动对象进行自身位置估计。
CN201580044294.0A 2014-08-26 2015-06-01 信息处理装置、信息处理方法以及程序 Active CN106575437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-171795 2014-08-26
JP2014171795A JP2016045874A (ja) 2014-08-26 2014-08-26 情報処理装置、情報処理方法、及びプログラム
PCT/JP2015/002755 WO2016031105A1 (ja) 2014-08-26 2015-06-01 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN106575437A true CN106575437A (zh) 2017-04-19
CN106575437B CN106575437B (zh) 2020-06-05

Family

ID=55399031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580044294.0A Active CN106575437B (zh) 2014-08-26 2015-06-01 信息处理装置、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US10169880B2 (zh)
EP (1) EP3188128A4 (zh)
JP (1) JP2016045874A (zh)
CN (1) CN106575437B (zh)
WO (1) WO2016031105A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034171A (zh) * 2017-09-26 2020-04-17 索尼半导体解决方案公司 信息处理系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212177A (ja) * 2015-05-01 2016-12-15 セイコーエプソン株式会社 透過型表示装置
EP3571863B1 (en) * 2017-01-23 2021-07-07 Telefonaktiebolaget LM Ericsson (publ) Sc-mcch segment scheduling for femtc and enb-iot
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
WO2018180175A1 (ja) * 2017-03-27 2018-10-04 日本電産株式会社 移動体、信号処理装置およびコンピュータプログラム
US10304207B2 (en) 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
WO2019026390A1 (ja) 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
JP7180670B2 (ja) * 2018-03-29 2022-11-30 ソニーグループ株式会社 制御装置、制御方法、並びにプログラム
DE112019002126T5 (de) 2018-04-26 2021-01-07 Sony Corporation Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür
JPWO2020137313A1 (zh) 2018-12-28 2020-07-02
KR20210145734A (ko) 2019-03-27 2021-12-02 소니그룹주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP7414551B2 (ja) * 2020-01-24 2024-01-16 キヤノン株式会社 制御装置および制御方法
JP2023114237A (ja) * 2022-02-04 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
US20080069405A1 (en) * 2006-09-14 2008-03-20 Canon Kabushiki Kaisha Position and orientation measurement method and apparatus
CN101414352A (zh) * 2007-10-19 2009-04-22 索尼株式会社 信息处理设备、信息处理方法和程序
CN102830794A (zh) * 2011-06-13 2012-12-19 索尼公司 信息处理装置和程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164670A (en) * 1990-09-17 1992-11-17 Syracuse University Multidimensional magnetic resonance system using selective discrete Fourier transformation (SDFT)
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JP2002007030A (ja) * 2000-06-16 2002-01-11 Olympus Optical Co Ltd 運動検出装置及び操作入力装置
FI20045300A (fi) * 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
JP4422777B2 (ja) 2008-08-05 2010-02-24 オリンパス株式会社 移動体姿勢検出装置
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP5267100B2 (ja) 2008-12-18 2013-08-21 株式会社豊田中央研究所 運動推定装置及びプログラム
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
JP5310285B2 (ja) 2009-06-12 2013-10-09 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
FR2967804B1 (fr) * 2010-11-19 2013-01-04 Total Immersion Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
JP5776332B2 (ja) 2011-05-27 2015-09-09 富士通株式会社 地図処理方法及びプログラム、並びにロボットシステム
US20140005544A1 (en) * 2011-11-02 2014-01-02 Seno Medical Instruments, Inc. System and method for providing selective channel sensitivity in an optoacoustic imaging system
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP2015528713A (ja) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
US20080069405A1 (en) * 2006-09-14 2008-03-20 Canon Kabushiki Kaisha Position and orientation measurement method and apparatus
CN101414352A (zh) * 2007-10-19 2009-04-22 索尼株式会社 信息处理设备、信息处理方法和程序
CN102830794A (zh) * 2011-06-13 2012-12-19 索尼公司 信息处理装置和程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M.ARON: "Handling uncertain sensor data in vision-based camera tracking", 《IEEE》 *
MASAYUKI KANBARA: "A Stereo Vision-based Augmented Reality System with an Inertial Sensor", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034171A (zh) * 2017-09-26 2020-04-17 索尼半导体解决方案公司 信息处理系统
CN111034171B (zh) * 2017-09-26 2022-05-17 索尼半导体解决方案公司 信息处理系统

Also Published As

Publication number Publication date
JP2016045874A (ja) 2016-04-04
US20170206666A1 (en) 2017-07-20
EP3188128A1 (en) 2017-07-05
WO2016031105A1 (ja) 2016-03-03
CN106575437B (zh) 2020-06-05
EP3188128A4 (en) 2018-08-15
US10169880B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
CN106575437A (zh) 信息处理装置、信息处理方法以及程序
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
US10984146B2 (en) Tracking safety conditions of an area
CN105723417A (zh) 用非静止装置检测对象的变化特征
KR20160122702A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
GB2557465A (en) Method for calibrating a camera and calibration system
CN111353355B (zh) 动作追踪系统及方法
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
CN111452050A (zh) 基于视觉的机器人控制系统
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
US11460912B2 (en) System and method related to data fusing
US20200226787A1 (en) Information processing apparatus, information processing method, and program
US20190339768A1 (en) Virtual reality interaction system and method
JP2017158169A (ja) 画像表示システム、表示装置、プログラム
EP4040268A1 (en) Object sharing method and apparatus
CN106257924B (zh) 多视角摄像装置及多视角摄像方法
US20200043193A1 (en) Position determination methods and systems for vehicle
KR101761487B1 (ko) Head 디바이스 및 그의 동작 방법
JP2017151281A (ja) 画像表示システム、情報処理装置、プログラム
US11448884B2 (en) Image based finger tracking plus controller tracking
EP4016252A1 (en) System and method related to motion tracking
EP4016253A1 (en) System and method related to data fusing
EP3832435A1 (en) Motion tracking system and method
JP2021089691A (ja) 動作追跡システム及び動作追跡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant