CN114820835A - 信息处理方法、信息处理装置和非易失性存储介质 - Google Patents

Abstract

本发明涉及信息处理方法、信息处理装置和非易失性存储介质，其能恰当地应用效果。所述信息处理方法包括片段提取处理和调整处理。片段提取处理从相机的影像中提取对应于与效果相关联的标签的片段。调整处理根据使用包含加速度数据的信息检测到的相机的姿势的变化来调整效果的应用位置，以使得效果的应用位置不偏离提取的片段。

Description

信息处理方法、信息处理装置和非易失性存储介质

技术领域

本发明涉及信息处理方法、信息处理装置和非易失性存储介质。

背景技术

使用AR(增强现实，Augmented Reality)技术对照片和动画施加效果(エフェクト)的技术已被公众所知。例如，在相机拍摄的实物的影像上重叠由CG(计算机图形，ComputerGraphics)生成的AR物体。这样，生成状似处于异空间(異空間)的影像。

现有技术文献

专利文献1US2020326830A1

为了生成逼真的影像，需要实物与AR物体的准确位置关系。如果效果的应用位置偏移，则存在给观众带来违和感的可能性。

发明内容

在此，本公开提供可恰当地应用效果的信息处理方法、信息处理装置和非易失性存储介质。

根据本公开提供的信息处理方法，由计算机执行下述步骤：从相机的影像中提取对应于与效果相关联的标签的片段(セグメント)；根据使用包含加速度数据的信息检测到的所述相机的姿势的变化，来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。此外，本公开提供执行所述信息处理方法的信息处理的信息处理装置，以及存储用于使计算机实施所述信息处理的程序的非易失性存储介质。

附图说明

图1是示出信息处理装置的简要结构的图。

图2是信息处理装置的功能框图。

图3是示出效果的示例的图。

图4是示出效果处理的另一示例的图。

图5是示出效果处理的另一示例的图。

图6是示出触发的检测方法的示例的图。

图7是示出触发的检测方法的示例的图。

图8是示出动作检测部检测的手势的示例的图。

图9是示出信息处理装置实施的信息处理的示例的图。

图10是示出信息处理装置实施的信息处理的示例的图。

图11是示出信息处理装置的硬件结构示例的图。

具体实施方式

以下，根据附图具体说明本公开的实施方式。在以下的各实施方式中，相同部分使用相同的附图标记并省略重复说明。

另外，按照以下的顺序进行说明。

(1.信息处理装置的结构)

(2.信息处理方法)

(3.硬件结构示例)

(4.效果)

(1.信息处理装置的结构)

图1是示出信息处理装置1的简要结构的图。

信息处理装置1是处理照片和动画等各种信息的电子设备。例如，信息处理装置1在前面侧具有显示器50，在背面侧具有相机20和ToF(飞行时间，Time of Flight)传感器30。

相机20例如是可切换超广角、广角和长焦距的复眼相机。ToF传感器30例如是针对每个像素检测距离信息(深度信息)的距离图像传感器。测距方式可以是dToF(直接飞行时间，direct ToF)和iToF(间接飞行时间，indirect ToF)中的任一个。作为检测距离信息的方法，可以仅使用ToF传感器30的数据，也可以使用ToF传感器30和相机20的输出数据进行检测，还可以利用AI(人工智能，Artificial Intelligence)技术从相机30的数据计算距离信息。

采用LCD(液晶显示器，Liquid Crystal Display)和OLED(有机发光二极管，Organic Light Emitting Diode)等公知的显示器作为显示器50。例如，显示器50具有可触摸操作的屏幕SCR。

图1中显示了作为信息处理装置1的一个示例的智能手机，但是信息处理装置1不限于智能手机。信息处理装置1可以是平板终端、笔记本电脑、台式电脑和数字相机等。

图2是信息处理装置1的功能框图。

信息处理装置1例如具有处理部10、相机20、ToF传感器30、IMU(惯性测量装置，Inertial Measurement Unit)40、显示器50、效果信息存储部60、手势模型存储部70和程序存储部80。

处理部10基于ToF传感器30和IMU40的测量数据对相机20的影像施加效果。处理部10例如具有位置信息检测部11、姿势检测部12、效果处理部13和触发检测部14。

位置信息检测部11获取ToF传感器30测量的深度数据。深度数据包含每个像素的深度信息。位置信息检测部11基于深度数据检测真实空间存在的实物的距离信息。

姿势检测部12获取相机20的影像数据和IMU40测量的IMU数据。影像数据包含照片和动画数据。IMU数据包含与三维角速度和加速度相关的信息。姿势检测部12使用影像数据和IMU数据来检测相机20的姿势。使用SLAM(即时定位与地图构建，SimultaneousLocalization and Mapping)等公知的方法来检测与相机20的姿势相关的姿势信息。

另外，尽管本公开使用影像数据和IMU数据来检测姿势信息，但是姿势信息的检测方法不限于此。如果有相机20的加速度数据，就可检测姿势信息。因此，姿势检测部12可以使用至少包含加速度数据的信息来检测相机20的姿势。通过融合(フュージョンする)加速度数据和其他传感器信息来检测高精度的姿势信息。因此，本公开使用这种传感器融合方法来检测相机20的姿势信息。

效果处理部13将效果施加到相机20拍摄的影像。效果的内容和效果的应用位置等与效果相关的各种信息作为效果信息61存储在效果信息存储部60中。效果处理部13基于效果信息61进行效果的处理。

图3是示出效果的示例的图。

效果的处理例如是使用CG生成的AR物体AROB来进行的。在图3的示例中，多个球状的AR物体AROB与实物ROB重叠显示。效果处理部13基于检测到的实物ROB的距离信息来检测实物ROB和AR物体AROB的位置关系。基于实物ROB与AR物体AROB的位置关系，效果处理部13通过AR物体AROB对实物ROB进行遮蔽(オクルージョン)处理。显示器50显示遮蔽处理的结果。

遮蔽表示前面的物体遮掩后方物体的状态。遮蔽处理表示这样的处理：检测物体之间的前后关系，并基于检测出的前后关系，在用前面的物体遮掩后方的物体的状态下将物体重叠。例如，在实物ROB比AR物体AROB更接近ToF传感器30时，作为遮蔽处理，效果处理部13将实物ROB重叠在AR物体AROB的前面，使得AR物体AROB被实物ROB遮掩。在AR物体AROB比实物ROB更接近ToF传感器30时，作为遮蔽处理，效果处理部13将AR物体AROB重叠在实物ROB的前面，使得实物ROB被AR物体AROB遮掩。

图4是示出效果处理的另一示例的图。

在图4的示例中，通往不同维度空间的孔显示为AR物体AROB。图4示出由于相机震动而使得相机20的影像CM偏移的状态。效果处理部13基于相机20的姿势调整对影像CM应用效果的位置，使得影像CM和AR物体AROB之间不发生偏移。

图5是示出效果处理的另一示例的图。

在图5的示例中，效果被选择性地应用到影像CM的特定片段SG。例如，相机20的影像CM被分割为标签为“空”的第一片段SG1、标签为“建筑物”的第二片段SG2，以及标签为“手”的第三片段SG3。效果被选择性地应用于第一片段SG1。

将效果选择性地应用到特定的片段时，容易识别影像CM与AR物体AROB的偏移。例如，在第一片段SG1上应用效果时，如果效果的应用位置由于相机震动而扩展到第二片段SG2或第三片段SG3，则生成不自然的影像。因此，效果处理部13根据影像CM的偏移来调整效果的应用位置。

例如，如图2所示，效果处理部13具有片段提取部131和调整部132。片段提取部131从相机20的影像CM中提取对应于与效果相关联的标签的片段SG。片段SG的提取使用语义分割(セマンティックセグメンテーション)等公知的方法进行。调整部132根据相机20的姿势的变化来调整效果的应用位置，以使得效果的应用位置不偏离提取的片段SG。例如，当影像CM因相机震动而偏左时，屏幕SCR内的效果的应用位置也向左偏移。

触发检测部14检测使得效果处理开始进行的触发。触发可以是任何形式。例如，触发检测部14在检测到特定的物体(触发物体)的情况下或者检测到触发物体进行了特定动作时，确定检测到触发。触发物体可以是实物ROB，也可以是AR物体AROB。例如，基于深度数据来检测触发。与触发物体和动作相关的触发信息包含在效果信息61中。

图6和图7是示出触发的检测方法的示例的图。

在图6的示例中，手、手指等的手势作为触发被检测到。触发检测部14基于深度数据来检测成为触发物体TOB的手、手指等的实物ROB的动作。而后，触发检测部14确定触发物体TOB的动作是否符合触发手势。

例如，如图2所示，触发检测部14具有深度图生成部141、接点(ジョイント)信息检测部142、动作检测部143和判定部144。

如图7所示，深度图生成部141生成触发物体TOB的深度图DM。深度图DM是将距离值(深度)分配到各像素的图像。深度图生成部141使用从ToF传感器30获得的时序深度数据来生成多时刻的触发物体TOB的深度图DM。

接点信息检测部142基于多时刻深度图DM来提取多时刻的触发物体TOB的接点信息。接点信息包含触发物体TOB上设定的有关多个接点JT的配置的信息。

各触发物体TOB上设定有成为接点JT的部位。例如，在触发物体TOB是人手时，手掌中心、拇指根、拇指中心、拇指前端、食指中心、食指前端、中指中心、中指前端、无名指中心、无名指前端、小指中心、小指前端，以及手腕的两个关节分别被设定为接点JT。接点信息检测部142提取作为接点信息的各接点JT的三维坐标信息。

另外，接点JT部位不限于上述部位。例如，可以仅将拇指前端、食指前端、中指前端、无名指前端、小指前端和手腕的两个关节分别设定为接点JT。此外，除了上述14个接点JT之外，还可以将食指根、中指根、无名指根和小指根等其他部位也设定为接点。通过设定与手的关节个数(21个)接近的接点JT，可高精度地检测手势。

动作检测部143基于多时刻的接点信息来检测触发物体TOB的动作。例如，动作检测部143将多时刻的接点信息应用到手势模型71。手势模型71是使用RNN(递归神经网络，Recurrent Neural Network)和LSTM(长短期记忆，Long Short－Term Memory)等来研究时序的接点信息与手势的关系的分析模型。手势模型71存储在手势模型存储部70中。动作检测部143使用手势模型71分析触发物体TOB的动作，并基于分析结果来检测与触发物体TOB的动作对应的手势。

判定部144将与触发物体TOB的动作对应的手势与效果信息61中规定的手势进行对照。这样，判定部144确定触发物体TOB的动作是否符合触发手势。

图8是示出动作检测部143检测到的手势的示例的图。

图8示出作为手势的示例的“轻击空气(Air Tap)”、“绽开(Bloom)”和“打响指(Snap Finger)”。“轻击空气”是食指竖起后笔直倒下的手势。“轻击空气”对应于鼠标的点击动作和对触摸面板的轻击动作。“绽开”是手掌朝上握拳再张开的手势。“绽开”在关闭应用或打开开始菜单等时使用。“打响指”是拇指和中指相互摩擦打响指的手势。“打响指”在开始效果的处理等时使用。

返回图2，程序存储部80存储由处理部10执行的程序81。程序81是使计算机执行本公开的信息处理的程序。处理部10根据程序存储部80中存储的程序81进行各种处理。程序存储部80包含任何非临时性的非易失性存储介质，例如半导体存储介质和磁存储介质等。程序存储部80包含例如光盘、光磁盘或闪存器。程序81存储在例如计算机可读取的非临时性存储介质中。

(2.信息处理方法)

图9和图10是示出信息处理装置1实施的信息处理的示例的图。图10为处理流程图，图9是各步骤的显示内容的示意图。

在步骤SA1中，处理部10在显示器50上显示效果选择画面ES。例如，效果选择画面ES上显示效果列表。用户从效果列表中选择期望的效果。

在步骤SA2中，处理部10在显示器50上显示效果的操作方法的说明。例如，图9的示例说明了通过“打响指”手势开始效果处理、通过再次作出“打响指”手势来切换效果场景，以及通过左右摆手的手势开始进行使效果消失的处理。

在步骤SA3中，用户在相机20前作出“打响指”手势。处理部10在检测到“打响指”手势后，在步骤SA4中开始效果处理。在图9的示例中，从建筑物的后方竖起粉色的云彩，逐渐显现类似马的形状。

在步骤SA5中，用户在相机20前再次作出“打响指”手势。处理部10在检测到“打响指”手势后，在步骤SA6中进行效果场景的切换。在图9的示例中，天空突然被粉色的滤镜覆盖，空中呈现云彩形成的发光独角兽。

在步骤SA7中，用户在相机20前作出左右摆手的手势。处理部10在检测到左右摆手的手势后，在步骤SA8中开始进行使效果消失的处理。在图9的示例中，独角兽朝用户温和微笑后，低下头、摆着长尾飞走。飞走时独角兽的周围荡开心形。独角兽飞走后，返回开始效果处理前的正常状态。

在步骤SA9中，处理部10进行效果结束的判定。当检测到诸如按下效果结束按钮等的结束标志时，确定效果结束。当在步骤SA9中判定效果结束时(步骤SA9：是)，处理部10结束效果处理。当在步骤SA9中判定效果未结束时(步骤SA9：否)，返回步骤SA3，重复上述的处理直至检测到结束标志为止。

(3.硬件结构示例)

图11是示出信息处理装置1的硬件结构示例的图。

信息处理装置1具备CPU(中央处理器，Central Processing Unit)1001、ROM(只读存储器，Read Only Memory)1002、RAM(随机存取存储器，Random Access Memory)1003、内部总线1004、接口1005、输入装置1006、输出装置1007、存储装置1008、传感器装置1009和通信装置1010。

CPU1001构成处理部10的示例。CPU1001用作计算处理装置和控制装置，根据各种程序控制信息处理装置1内的整体操作。CPU1001也可以是微处理器。

ROM1002存储CPU1001使用的程序和计算参数等。RAM1003临时存储在CPU1001的操作中使用的程序及其操作中适当变化的参数等。CPU1001、ROM1002和RAM1003利用CPU总线等构成的内部总线1004相互连接。

接口1005将输入装置1006、输出装置1007、存储装置1008、传感器装置1009和通信装置1010连接到内部总线1004。例如，输入装置1006借助接口1005和内部总线1004在CPU1001等之间进行数据交换。

输入装置1006包含例如触摸面板、按钮、麦克风和开关等用于用户输入信息的输入方式，以及基于用户输入生成输入信号并输出至CPU1001的输入控制电路。用户通过操作输入装置1006，可以向信息处理装置1输入各种数据或指示处理动作。

输出装置1007包含显示器50以及诸如扬声器和头戴听筒等的声音输出装置。例如，显示器50显示相机20拍摄的影像和处理部10生成的影像等。声音输出装置将声音数据等转换为声音并输出。

存储装置1008包含效果信息存储部60、手势模型存储部70和程序存储部80。存储装置1008包含存储介质、在存储介质中记录数据的记录装置、从存储介质读出数据的读出装置，以及删除存储介质中记录的数据的删除装置等。存储装置1008存储CPU1001执行的程序81和各种数据。

传感器装置1009例如包含相机20、ToF传感器30和IMU40。传感器装置1009也可以包含GPS(全球定位系统，Global Positioning System)接收功能、时钟功能、加速度传感器、陀螺仪、气压传感器和地磁传感器等。

通信装置1010是由用于连接通信网NT的通信设备等构成的通信接口。通信装置1010也可以是无线LAN对应通信装置或LTE(长期演进，Long Term Evolution)对应通信装置。

(4.效果)

信息处理装置1具有姿势检测部12、片段提取部131和调整部132。姿势检测部12使用包含加速度数据的信息来检测相机20的姿势。片段提取部131从相机20的影像CM中提取对应于与效果相关联的标签的片段SG。调整部132根据相机20的姿势的变化来调整效果的应用位置，使得效果的应用位置不偏离提取的片段SG。在本实施方式的信息处理方法中，由计算机执行上述信息处理装置1的处理。本实施方式的非易失性存储介质(程序存储部80)存储使计算机实施上述信息处理装置1的处理的程序81。

按照上述构成，即使相机20的姿势发生变化，也能将效果应用到恰当的位置上。

信息处理装置1具有触发检测部14。触发检测部14基于深度数据检测使得效果处理开始进行的触发。

按照上述构成，可以高精度地检测触发。

触发检测部14检测触发物体TOB的手势作为触发。

按照上述构成，可以使用手势来开始施加效果。

触发检测部14具有深度图生成部141、接点信息检测部142、动作检测部143和判定部144。深度图生成部141使用深度数据生成多时刻的触发物体TOB的深度图DM。接点信息检测部142基于多时刻的深度图DM来检测多时刻的触发物体TOB的接点信息。动作检测部143基于多时刻的接点信息来检测触发物体TOB的动作。判定部144确定触发物体TOB的动作是否符合触发手势。

按照上述构成，可以高精度地检测手势。

信息处理装置1具有位置信息检测部11和效果处理部13。位置信息检测部11基于ToF传感器30获得的深度数据来检测实物ROB的距离信息。效果处理部13基于实物ROB的距离信息来进行实物ROB与由CG生成的效果用AR物体AROB之间的遮蔽处理。

按照上述构成，可基于深度数据高精度地检测实物ROB与AR物体AROB的位置关系。由于可以适当地进行遮蔽处理，所以能向观众提供违和感较小的影像。

另外，本说明书所述的效果仅为示例性的而不是限制性的，并且还可以具有其他效果。

(附记)

另外，本技术可以采用下述构成。

(1)一种信息处理方法，包括由计算机执行的以下步骤：

从相机的影像中提取对应于与效果相关联的标签的片段；

根据使用包含加速度数据的信息而检测到的所述相机的姿势的变化来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。

(2)一种信息处理装置，包括：

姿势检测部，使用包含加速度数据的信息来检测相机的姿势；

片段提取部，从所述相机的影像中提取对应于与效果相关联的标签的片段；以及

调整部，根据所述相机的姿势的变化来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。

(3)根据上述(2)所述的信息处理装置，

具有触发检测部，其基于深度数据来检测使得所述效果的处理开始进行的触发。

(4)根据上述(3)所述的信息处理装置，

所述深度数据由ToF传感器获得。

(5)根据上述(3)或(4)所述的信息处理装置，

所述触发检测部检测触发物体的手势作为所述触发。

(6)根据上述(5)所述的信息处理装置，

所述触发检测部包括：

深度图生成部，其使用所述深度数据生成多时刻的所述触发物体的深度图；

接点信息检测部，其基于多时刻的所述深度图来检测多时刻的所述触发物体的接点信息；

动作检测部，其基于多时刻的所述接点信息来检测所述触发物体的动作；以及

判定部，其判定所述触发物体的动作是否符合作为所述触发的所述手势。

(7)根据上述(2)至(6)中任一项所述的信息处理装置，其包括：

位置信息检测部，其根据由ToF传感器获得的深度数据来检测实物的距离信息；以及

效果处理部，其基于所述实物的距离信息进行所述实物与由CG生成的用于所述效果的AR物体之间的遮蔽处理。

(8)一种非易失性存储介质，其上存储有使计算机实施以下步骤的程序：

从相机的影像中提取对应于与效果相关联的标签的片段；

根据使用包含加速度数据的信息检测到的所述相机的姿势的变化来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。

附图标记说明

1 信息处理装置

11 位置信息检测部

12 姿势检测部

13 效果处理部

131 片段提取部

132 调整部

14 触发检测部

141 深度图生成部

142 接点信息检测部

143 动作检测部

144 判定部

20 相机

30 ToF传感器

80 程序存储部(非易失性存储介质)

81 程序

AROB AR物体

CM 影像

DM 深度图

ROB 实物

SG 片段

TOB 触发物体

Claims (8)

1.一种信息处理方法，其包括由计算机实施的以下步骤：

从相机的影像中提取对应于与效果相关联的标签的片段；

根据使用包含加速度数据的信息检测到的所述相机的姿势的变化，来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。

2.一种信息处理装置，其包括：

姿势检测部，所述姿势检测部使用包含加速度数据的信息来检测相机的姿势；

片段提取部，所述片段提取部从所述相机的影像中提取对应于与效果相关联的标签的片段；以及

调整部，所述调整部根据所述相机的姿势的变化来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。

3.根据权利要求2所述的信息处理装置，其包括：

触发检测部，所述触发检测部基于深度数据来检测触发，所述触发使得所述效果的处理开始进行。

4.根据权利要求3所述的信息处理装置，其中，

所述深度数据是通过ToF传感器获得的。

5.根据权利要求3或4所述的信息处理装置，其中，

所述触发检测部检测触发物体的手势作为所述触发。

6.根据权利要求5所述的信息处理装置，其中，

所述触发检测部包括：

深度图生成部，所述深度图生成部使用所述深度数据来生成多时刻的所述触发物体的深度图；

接点信息检测部，所述接点信息检测部基于所述多时刻的深度图来检测多时刻的所述触发物体的接点信息；

动作检测部，所述动作检测部基于所述多时刻的接点信息来检测所述触发物体的动作；以及

判定部，所述判定部判定所述触发物体的动作是否符合作为所述触发的所述手势。

7.根据权利要求2所述的信息处理装置，其包括：

位置信息检测部，所述位置信息检测部基于通过ToF传感器获得的深度数据来检测实物的距离信息；以及

效果处理部，所述效果处理部基于所述实物的距离信息来进行所述实物与由CG生成的用于所述效果的AR物体之间的遮蔽处理。

8.一种非易失性存储介质，其上存储有使计算机实施以下步骤的程序：

从相机的影像中提取对应于与效果相关联的标签的片段；

根据使用包含加速度数据的信息检测到的所述相机的姿势的变化，来调整所述效果的应用位置，以使得所述效果的应用位置不偏离提取的所述片段。

Images