CN110837764B - 图像处理方法、装置、电子设备及视觉交互系统 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及视觉交互系统，涉及显示技术领域。该方法包括：获取采集的目标图像，目标图像具有标记物，标记物上分布有至少一个子标记物；确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物；根据遮挡目标物生成控制指令，控制指令用于控制虚拟对象的显示。用户通过对图像采集装置的拍摄范围内的标记物内的子标记物的遮挡，就能够远程控制虚拟对象的显示，增强了用户与增强现实场景内的虚拟对象的交互性。

Description

图像处理方法、装置、电子设备及视觉交互系统

技术领域

本申请涉及显示技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及视觉交互系统。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。但是，目前的增强现实中所显示的虚拟对象与用户之间的交互性过低。

发明内容

本申请提出了一种图像处理方法、装置、电子设备及视觉交互系统，以增强用户与增强现实场景内的虚拟对象的交互性。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取采集的目标图像，所述目标图像具有标记物，所述标记物上分布有至少一个子标记物；确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物；根据所述遮挡目标物生成控制指令，所述控制指令用于控制虚拟对象的显示。

第二方面，本申请实施例还提供了一种图像处理装置，包括：获取单元、第一确定单元和第二确定单元。获取单元，用于获取采集的目标图像，所述目标图像具有标记物，所述标记物上分布有至少一个子标记物。第一确定单元，用于确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物。第二确定单元，用于根据所述遮挡目标物生成控制指令，所述控制指令用于控制虚拟对象的显示。

第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器与所述处理器耦合；所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述方法。

第四方面，本申请实施例还提供了一种视觉交互系统，包括：标记物和上述电子设备，所述标记物上分布有至少一个子标记物。

第五方面，本申请实施例还提供了一种具有处理器可执行的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述方法。

本申请提供的方案，对设置有子标记物的标记物拍摄，通过对所采集的图像分析，如果检测到图像中某个子标记物被遮挡，则根据被遮挡的子标记物生成用于控制虚拟对象的显示的控制指令。由此，在增强现实场景下，可以将标记物放置在能够采集图像的图像采集装置的拍摄范围内，用户通过对图像采集装置的拍摄范围内的标记物内的子标记物的遮挡，就能够远程控制虚拟对象的显示，增强了用户与增强现实场景内的虚拟对象的交互性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的视觉交互系统的示意图；

图2示出了本申请一实施例提供的图像处理方法的方法流程图；

图3示出了本申请实施例提供的子标记物的示意图；

图4示出了本申请实施例提供的子标记物被遮挡的示意图；

图5示出了本申请实施例提供的虚拟对象被遮挡的示意图；

图6示出了本申请另一实施例提供的图像处理方法的方法流程图；

图7示出了本申请实施例提供的特征点的示意图；

图8示出了本申请又一实施例提供的图像处理方法的方法流程图；

图9示出了本申请再又一实施例提供的图像处理方法的方法流程图；

图10示出了本申请实施例提供的图像处理装置的模块框图；

图11示出了本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图；

图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参阅图1，示出了本申请实施例提供的一种视觉交互系统10，该视觉交互系统10包括：电子设备100和标记物200。

在本申请实施例中，标记物200可以设置于电子设备100的视野范围内，以使电子设备100可以采集标记物200的图像，并对标记物200进行识别。

在本申请实施例中，电子设备100可以是头戴显示装置，也可以是手机、平板等移动设备。电子设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。电子设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即电子设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟对象进行显示功能。

在本申请实施例中，电子设备100可以包括图像采集装置，标记物200可以放置于电子设备100的图像采集装置的视野范围内，即图像采集装置可以采集到标记物200的图像。该标记物200的图像存储于电子设备100中，用于定位电子设备100相对标记物200的空间位置，以及识别标记物200的身份信息等。

标记物200可以是包括至少一个具有一定形状的子标记物的标记图像，也可以是包含有至少两个分布于不同面的标记物的多面体标记物，也可以为由光点构成的自身可以发光的物体等。当然，具体的标记物200在本申请实施例中并不作为限定，标记物仅需要标记物200能被电子设备100识别即可。

如图1(a)所示，当标记物200位于电子设备100的图像采集装置的视野范围内时，图像采集装置能够采集到标记物200的图像，根据所采集的包含有标记物200上所分布的至少一个子标记物，能够确定该标记物200的身份、在图像采集装置的视野内的位置以及姿态等参数信息，根据该参数信息能够在标记物200的位置处显示虚拟对象，如图1(b)所示的台灯300，即为对应标记物200所显示的虚拟对象，则该虚拟对象可以是标记物200的位置处显示，也可以是在图像采集装置的视野范围内标记物200所处的位置之外的位置处显示，由此，用户能够基于标记物而观察到增强现实场景。

但是，发明人在研究中发现，传统的增强现实场景，所显示的虚拟对象缺乏与用户间的交互而用户所体验的仅仅是虚拟对象与真实场景的叠加，缺乏交互性。

因此，为了克服上述缺陷，本申请实施例提供了一种图像处理方法，应用于上述场景，该方法的执行主体可以是上述电子设备，具体地，如图2所示，该方法包括：S201至S203。

S201：获取采集的目标图像，目标图像具有标记物，标记物上分布有至少一个子标记物。

其中，目标图像中所包含的子标记物为位于电子设备的图像采集装置的视野内的子标记物。

具体地，标记物上所分布的至少一个子标记物中，各个标记物之间的特征信息不同，其中，该特征信息包括形状、轮廓或者尺寸中的至少一种。从而，在拍摄到多个子标记物的图像时，通过图像处理提取到所拍摄的每个子标记物的特征信息，再通过预先设定的不同的特征信息与子标记物的身份信息的对应关系，就能够确定在目标图像中，所拍摄到的每个子标记物的身份信息，即能够确定哪些子标记物被拍摄到。

另外，由于标记物中所包含的子标记物的特征信息不同，而不同的标记物中所包含的子标记物也不相同，由此，根据所采集到的目标图像中的子标记物的图像也能够确定位于图像采集装置的视野内的标记物的身份信息，从而能够显示与该标记物对应的虚拟对象。

具体地，根据所采集到的标记物的目标图像，确定该标记物在真实世界中的位置，以及电子设备与标记物之间的位置以及朝向关系等，即标记物的姿态信息，从而根据预设的标记物的位置及姿态信息与虚拟对象的对应关系，确定当前所采集的目标图像中的标记物对应的虚拟对象，并在用户的视野内显示，如图1(b)所显示的台灯。

S202：确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物。

具体地，预先获取标记物未被遮挡的情况下，图像采集装置所采集的标记物的图像，将所采集的标记物的未被遮挡的状态下的图像作为标准图像。然后，在获取到上述目标图像之后，将该目标图像与标准图像比对，就能够确定与标准图像相比，目标图像中的哪个子标记物未被拍摄到，从而就能够确定目标图像中被遮挡的子标记物，将被遮挡的子标记物作为遮挡目标物。

作为一种实施方式，标记物上的各个子标记物的分布如图3所示，示例性地，在标记物200上分布有四个子标记物，分别为：第一子标记物201、第二子标记物202、第三子标记物203和第四子标记物204。具体地，各个子标记物之间的特征信息不同，例如，第一子标记物201包括2个相连接的特征点，例如，该特征点可以是图3中的圆环，则第一子标记物201的特征信息可以是所包含的特征点的数量、颜色等信息。

则以图1(a)中，所拍摄到的包括标记物的图像作为标准图像，以图4中，所拍摄到的包括标记物的图像作为目标图像，如图4所示，标记物的部分区域被遮挡，则将该图4中的标记物的图像与图1(a)中的标准图像比对，可以发现图4中的第四子标记物204被遮挡，就能够确定图4中的遮挡目标物为第四子标记物204。

203：根据遮挡目标物生成控制指令，控制指令用于控制虚拟对象的显示。

其中，该控制指令用于控制虚拟对象的显示，该而虚拟对象可以是在该标记物的位置以及姿态信息对应的虚拟对象，则该控制指令可以是控制该虚拟对象旋转、放大、缩小、施展特定的动作效果，或者将该虚拟对象切换为新的虚拟对象，也可以是再加入新的虚拟对象至当前的增强现实场景中。

具体地，在电子设备内预先存储有遮挡目标物与控制指令的对应关系，如下表1所示：

表1

上述表中，为与虚拟对象1对应的各个控制指令所对应的遮挡目标物的对应关系，根据该对应关系，能够确定本次所确定的遮挡目标物所对应的控制指令，例如，该遮挡目标物为第四子标记物，则对应的控制指令为控制虚拟对象1执行指定动作，其中，该指定动作可以结合具体的应用场景和虚拟对象而设定。

例如，该虚拟对象为图1(b)所示的台灯，则第四子标记物的指定动作为切换台灯的亮灭状态，即如果当前的台灯为熄灭状态，则将台灯点亮，如果当前的台灯为点亮状态，则将台灯熄灭。

则在一些实施例中，可以根据遮挡目标物所对应的子标记物身份信息而确定控制指令，而在另一些实施例中，还可以根据遮挡目标物的被遮挡信息而确定控制指令，其中，遮挡目标物的被遮挡信息包括遮挡目标物的被遮挡部分的面积与未被遮挡部分的面积的比值。

则在另一些实施例中，根据遮挡目标物生成控制指令的实施方式可以是：获取目标图像中遮挡目标物的被遮挡信息，根据被遮挡信息确定控制指令。

在获取到目标图像之后，可以将目标图像与上述的标准图像比对，确定被遮挡的子标记物的被遮挡部分以及未被遮挡的部分，则被遮挡部分和未被遮挡部分的面积均可以由目标图像中，各自所占的像素点个数而确定。

不同的被遮挡信息所对应的控制指令不同，具体地，可以根据预先在电子设备内设置的被遮挡信息与控制指令的对应关系而查找目标图像中的遮挡目标物的被遮挡信息所对应的控制指令。

作为一种实施方式，遮挡目标物的被遮挡信息对应的控制指令为遮挡目标物的身份信息对应的控制指令的子控制指令，具体地，该子控制指令为该控制指令的进一步控制的指令，例如，控制指令为放大或者缩小，则子控制指令为放大或缩小的倍数，以图1(b)中的台灯为例，当遮挡目标物的身份信息为第四子标记物时，则第四子标记物对应的控制指令时将台灯点亮的操作，而遮挡目标物的被遮挡信息对应的控制指令为调节台灯的亮度。

示例性地，在一些实施例中，当用户将标记物放置在图像采集装置的视野内时，用户在标记物的位置观察到台灯，并且是熄灭状态，然后，用户将手或者其他的遮挡物将第四子标记物遮住，则电子设备生成用于将台灯的灯点亮的显示效果的控制指令，然后，电子设备根据该控制指令将台灯点亮并在该标记物的位置处显示，使得用户获取到台灯被点亮的增强现实效果。

另外，在另一些实施例中，当用户将标记物放置在图像采集装置的视野内时，用户在标记物的位置观察到台灯，并且是熄灭状态，然后，用户将手或者其他的遮挡物将第四子标记物遮住，并且电子设备检测到第四子标记物的被遮住部分与未被遮住部分的比值为1:1，则电子设备生成用于将台灯的灯点亮的显示效果的控制指令，且该台灯被点亮的亮度为最高亮度值的50％，然后，电子设备根据该控制指令控制台灯发出最高亮度值并在该标记物的位置处显示，使得用户获取到台灯发出50％亮度的增强现实效果。其中，控制台灯被点亮的亮度值为台灯最高亮度值的M％，其中，M与被遮挡信息有关，例如，遮挡目标物的被遮挡部分的面积与未被遮挡部分的面积的比值不同，所对应的M值也不同。

再者，为了增加用户的视觉体验度，可以将标记物中的各个子标记物的位置与虚拟对象内的虚拟按键对应，则用户在用手遮挡子标记物的时候，能够产生用户按下虚拟按键的视觉效果。例如，图1(b)和图5中的台灯显示有开关键，该开关键对应标记物的第四子标记物的位置，则用户用手点击该开关键，则刚好能够将第四子标记物遮挡，则生成用于控制台灯点亮的控制指令，电子设备基于该控制指令将所显示的台灯变更为被点亮的台灯，并显示，使得用户能够观察到台灯被点亮的增强现实效果。

因此，用户通过遮挡标记物中的子标记物能够控制所显示的虚拟对象，提高了用户与增强现实中的虚拟对象的交互性。

另外，为了使得用户与虚拟对象的交互更加精细化，或者增加控制指令的多样性，可以在子标记物下再设置至少一个特征点，而针对不同的特征点则对应的控制指令也不同。

则针对上述的特征点，可以在子标记物被遮挡的基础上，进一步根据该子标记物内的特征点被遮挡的情况，控制虚拟对象的显示，如图6所示，该方法包括：S601至S604。

S601：获取采集的目标图像，目标图像具有标记物，标记物上分布有至少一个子标记物。

S602：确定目标图像中被遮挡的子标记物。

S603：确定被遮挡的子标记物中被遮挡的特征点，将被遮挡的特征点作为遮挡目标物。

标记物可以设置在视觉交互装置上，该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物，每个子标记物具有一个或多个特征点。其中，第一背景和第二背景有一定的区分度，例如，可以是第一背景为黑色，第二背景为白色。本实施方式中，每个标记物内的子标记物的分布规则不同，因此，每个标记物所对应的图像互不相同。

子标记物为具有一定形状的图案，且该子标记物的颜色与标记物内的第二背景有一定的区分度，例如，第二背景为白色，而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成，且特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。

如图7所示，标记物200内包括多个子标记物220，而每个子标记物220由一个或多个特征点221构成，图7中的每个白色圆形图案为一个特征点221。图7中，子标记物220的颜色为黑色，具体地，由分布于第二背景上的多个第一背景构成，例如，在第二背景上分布多个圆环形黑色区域，而圆环形黑色区域的颜色与第一背景相同，则圆环形黑色区域内的白色区域所形成的白色圆形区域即为特征点221。标记物210的轮廓为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，图7中，矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。

在将所采集的目标图像与标准图像比对，其中，该标准图像内包括所有子标记物和每个标记物内的所有特征点，由此，通过比对就能够确定哪个子标记物下的哪个特征点被遮挡，具体地，可以将被遮挡的特征点赋予标识，以做标记，例如，第一子标记物-特征点1，则表示当前被遮挡的特征点为第一子标记物内的特征点1，由此也能够确定被遮挡的子标记物为第一子标记物。

S604：根据遮挡目标物生成控制指令，控制指令用于控制虚拟对象的显示。

在电子设备内存储有特征点与控制指令的对应关系，根据该对应关系能够确定所确定的被遮挡的特征点对应的控制指令。

作为一种实施方式，特征点对应的控制指令与特征点所属的子标记物对应的控制指令属于同一类控制指令，例如，表2中所示。第一子标记物对应的控制指令时放大，而第一子标记物内的特征点1对应的控制指令是放大1倍，第一子标记物内的特征点2对应的控制指令是放大2倍。从而使得用户能够在遮挡子标记物对虚拟对象控制的情况下，通过遮挡该子标记物内的不同特征点对该虚拟对象进一步的精细控制。

表2

由此，根据上述的特征点的遮挡对虚拟对象的显示控制，使得与虚拟对象的交互方式更加多样且更加精细化。可以理解地，特征点对应的控制指令与特征点所属的子标记物对应的控制指令也可以是不同类别的控制指令，当检测到特征点被遮挡时，可根据被遮挡的特征点及该特征点所属的子标记物共同生成控制指令对显示的虚拟对象进行控制。例如子标记物对应的控制指令是放大，该子标记物的特征点1对应的是旋转60°，当检测到该子标记物的特征点1被遮挡时，可直接对显示的虚拟对象进行放大并旋转60°。

需要说明的是，上述方法实施例中为详细描述的部分，可参考前述实施例，在此不再赘述。

另外，在标记物内包括多个子标记物的情况下，可以通过对一定时间内被遮挡的子标记物的检测，获取被遮挡的子标记物的变化规律，从而获取用户用于遮挡子标记物的遮挡物的移动路径，从而生成对应的控制指令。具体地，请参阅图8，示出了本申请实施例提供的一种图像处理方法，该方法包括：S801至S805。

S801：获取采集的目标图像，目标图像具有标记物，标记物上分布有至少一个子标记物。

S802：确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物。

S803：获取在目标时间点之前的预设时间段内，所确定的至少一个被遮挡的子标记物，并将确定的至少一个被遮挡的子标记物作为参考物，其中，目标时间点为确定遮挡目标物被遮挡的时间点。

具体地，电子设备内将每次检测到子标记物被遮挡的时间点以及被遮挡的标记物存储在遮挡记录内，示例性地，该遮挡记录如表3所示：

表3

序号	遮挡目标物	被遮挡的时间点
			1	第一子标记物	8月3日12：00:03
2	第三子标记物	8月3日12：02:01
			3	第四子标记物	8月3日12：03:00
4	第一子标记物	8月3日12：04:26

则通过查找该遮挡记录能够确定一定时间段内所有被遮挡的子标记物以及被遮挡的时间点，作为一种实施方式，为避免数据的冗余，可以每隔一定时间将遮挡记录内的数据清空，例如，每隔一天清空一次或者每隔2小时清空一次，也可以是在电子设备被关闭或者处于未使用的状态的时间大于一定预设闲置时间时，将该遮挡记录清空。其中，未使用的状态为电子设备的图像采集装置处于关闭或者处于后台运行的状态。

于本申请实施例中，上述的预设时间段是以目标时间点为起点的之前的预设时间长度内的时间段，其中，可以是用户根据需求而设定的，也可以是根据用户的使用行为而设定的，作为一种实施方式，获取电子设备每次被使用的时间长度，即从开启至关闭或者从开启至处于未使用的状态的时间大于一定预设闲置时间之间所经历的时间长度，根据多次被使用的时间长度获取平均使用时长，根据该平均使用时长确定预设时间长度，从而设定预设时间段，例如，一个周内，一共使用了7次，分别对应的时间长度为10分钟、20分钟、13分钟、18分钟、28分钟、40分钟、5分钟，则求平均值为19.14分钟，则可以将预设时间长度设定为19.14分钟，也可以是19.14/L分钟，其中，L大于1，例如，19.14/2＝9.57分钟，由此，能够保证预设时间长度的设定不会太短，也不至于太长，而相对适中。

在遮挡记录中查找目标时间点之前的预设时间段内的至少一个被遮挡的子标记物，其中，目标时间点为确定遮挡目标物被遮挡的时间点，例如，在执行上述确定目标图像中被遮挡的子标记物的步骤时，将被遮挡的子标记物作为遮挡目标物，并且获取当前系统时间，作为目标时间点。

再根据目标时间点在上述遮挡记录中查找所有被遮挡时间点中，位于该目标时间点之前的预设时间段内的被遮挡时间点对应的被遮挡的子标记，将所查找到的被遮挡的子标记作为备选物。然后，再从备选物中选定至少一个被遮挡的子标记物作为参考物。

具体地，参考物可以是备选物中的所有被遮挡的子标记物，也可以是，部分被遮挡的子标记物，作为一种实施方式，可以是选择与遮挡目标物相邻的至少一个被遮挡的子标记物作为参考物，例如，参考物的数量是3个，而目标时间点为8月3日12:05:00，而预设时间长度为5分钟，则以目标时间点之前的预设时间段为12:00:00至12:04:59，示例性地，遮挡记录如表3所示，则所确定的备选物为第一子标记物、第三子标记物、第四子标记物和第一子标记物，将备选物种的各个子标记物按照被遮挡的时间点的先后顺序排列，以形成备选序列，即[第一子标记物，第三子标记物，第四子标记物，第一子标记物]。则如果参考物的数量为3，则从备选序列中将第三子标记物、第四子标记物和第一子标记物作为参考物，如果参考物的数量为2，则从备选序列中将第四子标记物和第一子标记物作为参考物。

于本申请实施例中，参考物用于确定预设时间段至目标时间点之间的被遮挡的子标记物的变化情况，则参考物数量的确定可以由用户根据需求而设定，则作为一种实施方式，参考物的数量可以是1，则获取在目标时间点之前的上一次所确定的被遮挡的子标记物，并将上一次所确定的被遮挡的子标记物作为参考物。如上述表3中，将第一子标记物作为参考物，对应的被遮挡的时间点为8月3日12：04:26，作为参考时间点。

S804：根据参考物与遮挡目标物确定遮挡变化信息。

其中，遮挡变化信息包括目标变更信息或变化时长的至少一种，其中，目标变更信息根据参考物的身份信息和遮挡目标物的身份信息确定，变化时长为确定参考物被遮挡的时间点与目标时间点之间的时间长度。

目标变更信息用于表示参考物至遮挡目标物之间的身份信息的变化，其中，身份信息为被遮挡的子标记物的身份信息，例如，第一子标记物、第二子标记物等。

例如，参考物为在目标时间点之前的上一次所确定的被遮挡的子标记物，且参考物的身份信息为第一子标记物，而遮挡目标物的身份信息为第四子标记物，则对应的目标变更信息为第一子标记物至第四子标记物。

如果参考物的数量为两个或以上，例如，参考物为第三子标记物、第四子标记物和第一子标记物，且第三子标记物的参考时间点、第四子标记物的参考时间点和第一子标记物的参考时间点按照从早到晚的次序排列，则目标变更信息为第三子标记物、第四子标记物、第一子标记物至第四子标记物，则表示被遮挡的子标记物的变化趋势为：第三子标记物到第四子标记物，再到第一子标记物，最后是第四子标记物。

变化时长用于表示参考物至遮挡目标物之间所经历的时间长度，具体地，获取参考时间点与目标时间点之间的时间长度，作为变化时长，其中，参考时间点为确定参考物被遮挡的时间点。如果参考物的数量为两个或以上，则获取最早的参考时间点与目标时间点之前的时间长度，作为变化时长。

S805：根据遮挡变化信息生成控制指令。

遮挡变化信息可以是目标变更信息或变化时长的至少一种，则电子设备可以根据目标变更信息或变化时长中的至少一个控制虚拟对应的显示。

作为一种实施方式，根据目标变更信息生成控制指令，具体地，电子设备内预先存储有目标变更信息与控制指令的对应关系，如表4所示：

表4

根据该目标变更信息与控制指令的对应关系，能够确定本次根据所采集的目标图像所确定的目标变更信息对应的控制指令。

另外，为了提高用户的操作简便性，不同的两个目标变更信息的逆过程所对应的控制指令可以是对虚拟对象的控制的互为逆过程，例如，目标变更信息为第一子标记物至第二子标记物，对应的控制指令为将虚拟对应的尺寸放大，例如，从第一尺寸变更为第二尺寸，其中，第二尺寸大于第一尺寸，而目标变更信息为第二子标记物至第一子标记物，对应的控制指令为将虚拟对应的尺寸缩小，即将第二尺寸变更为第一尺寸，由此，用户通过将遮挡物在第一子标记物和第二子标记物之间的移动，以实现将虚拟对象的尺寸的放大或缩小。

作为另一种实施方式，根据变化时长生成控制指令，具体地，电子设备内预先存储有变化时长与控制指令的对应关系，根据该对应关系就能够确参考时间点与目标时间点之间的时间长度对应的控制指令。在一些实施例中，电子设备可以进根据变化时长而确定控制指令，即不论遮挡物是从哪个参考物移动至遮挡目标物，只根据不同的变化时长而生成不同的控制指令。而在另一些实施例中，变化时长可以与目标变更信息一起生成控制指令。具体地，在根据参考物的身份信息和遮挡目标物的身份信息确定目标变更信息之后，在获取参考时间点与目标时间点之间的变化时长，根据目标变更信息和变化时长确定控制指令。具体地，目标变更信息和变化时长与控制指令的对应关系，可以参考下表5。

表5

其中，时间范围为一个时间长度的区间，比如，时间范围2为[10S，20S]，则如果变化时长为13S，则落入时间范围2内，则对应的控制指令是放大2倍。

以目标变更信息为第一子标记物至第二子标记物，而变化时长为6秒，在获取到目标变更信息之后，确定目标变更信息对应的控制指令为放大，即用于将虚拟对象的尺寸放大。在确定变化时长属于哪个时间范围内，假设时间范围1为[4S，9S]，时间范围2为[10S，20S]，时间范围3为[21S，30S]，则变化时长位于时间范围1内，则对应的控制指令为放大1倍，用户观察到的虚拟对象的尺寸较变化之前的尺寸被放大1倍。

需要说明的是，上述方法实施例中为详细描述的部分，例如，遮挡变化信息可以是不同的特征点之间的变化信息，具体地，可参考前述实施例，在此不再赘述。

另外，为了避免误遮挡的行为发生，例如，用户的手部经过子标记物而短暂遮挡，也为了避免电子设备不断地分析所采集的目标图像中的子标记物是否被遮挡，而导致功耗过好，则可以设定一个启动指令，当检测到获取到启动指令时，再执行确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物的操作，具体地，请参阅图9，示出了本申请又一实施例提供的图像处理方法，该方法包括：S901至S904。

S901：获取采集的目标图像，目标图像具有标记物，标记物上分布有至少一个子标记物。

S902：检测是否获取到启动指令。

其中，启动指令用于指示电子设备可以执行确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物。

作为一种实施方式，可以是在电子设备内设置一个启动键，该启动键可以是一个物理按键，也可以是虚拟按键，例如，电子设备设置有触摸屏，该虚拟按键显示在触摸屏的预设界面的预设位置处，用户点击该虚拟按键，就能够输入启动指令至电子设备。

作为另一种实施方式，还可以是在用户将遮挡物遮住标记物中的任一子标记物并持续一定时间，就判定获取到启动指令，则检测是否获取到启动指令的实施方式为：检测目标图像中被遮挡的子标记物；获取子标记物被遮挡的遮挡时间长度；如果遮挡时间长度大于预设值，则判定获取到启动指令。

在获取到目标图像的时候，检测目标图像内是否存在子标记物被遮挡，如果存在被遮挡的子标记物，在采集目标图像之后的连续多帧图像，并统计该被遮挡的子标记物持续被遮挡的时间，将该持续被遮挡的时间记为遮挡时间长度。

判断遮挡时间长度是否大于预设值，其中，预设值为用户根据实际使用需求而设定的数值，如果遮挡时间长度大于预设值，则判定检测到启动指令，则可以执行S903的步骤。

因此，用户在需要启动通过遮挡子标记物而控制虚拟对象的操作时，需要将遮挡物放置在图像采集装置的视野范围内，并且将标记物中的任一一个或者多个子标记物遮挡并保持持续将该子标记物遮挡大于预设值的时间，则电子设备会继续执行S903，否则，如果该子标记物被遮挡的时间长度小于或等于预设值，则判定未接受到启动指令，则不会执行S903。

作为又一种实施方式，还可以设置一个启动标记物，该启动标记物与启动指令对应，具体地，该启动标记物可以是一个图案，该图案所对应的信息与启动指令对应。则为了便于电子设备识别该图案，则该图案可以是黑白相间的图案。

则检测是否获取到启动指令的实施方式还可以是：判断是否采集到启动标记物的图像，其中，启动标记物与启动指令对应，如果采集到启动标记物的图像，则判定获取到启动指令。具体地，启动标记物的图像在电子设备内预先存储，电子设备的图像采集装置采集到图像之后，电子设备将图像采集装置采集的图像与预先存储的启动标记物的图像比对，如果匹配，则判定图像采集装置所采集的图像为启动标记物的图像，则判定获取到启动指令。

由此，用户在需要启动通过遮挡子标记物而控制虚拟对象的操作时，将启动标记物放置于在电子设备的图像采集装置的视野内，并且将启动标记物上的图案展示在图像采集装置的视野内，以使图像采集装置能够采集到启动标记物，从而用户将启动指令输入到电子设备内，该电子设备响应该启动指令而执行S903。

进一步地，为了操作更加精细而避免误操作的行为发生，在判定采集到启动标记物的图像时，获取持续采集到启动标记物的图像的持续时间长度，判断持续时间长度是否大于预设启动时间，如果大于，则判定获取到启动指令。则用户在将启动标记物放置于在电子设备的图像采集装置的视野内之后，还需要再驻留一定时间之后，使得图像采集装置持续采集到启动标记物的图像的时间大于预设启动时间，则电子设备再执行S903。

S903：确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物。

S904：根据遮挡目标物生成控制指令，控制指令用于控制虚拟对象的显示。

需要说明的是，上述方法实施例中为详细描述的部分，可参考前述实施例，在此不再赘述。

请参阅图10，其示出了本申请实施例提供的一种图像处理装置1000的结构框图，该装置可以包括：获取单元1001、第一确定单元1002和第二确定单元1003。

获取单元1001，用于获取采集的目标图像，目标图像具有标记物，标记物上分布有至少一个子标记物。

第一确定单元1002，用于确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物。

进一步的，每个子标记物包括至少一个特征点，则第一确定单元1002还用于：确定目标图像中被遮挡的子标记物；确定被遮挡的子标记物中被遮挡的特征点，将被遮挡的特征点作为遮挡目标物。

第二确定单元1003，用于根据遮挡目标物生成控制指令，控制指令用于控制虚拟对象的显示。

在一些实施例中，第二确定单元1003具体用于获取目标图像中遮挡目标物的被遮挡信息，遮挡目标物的被遮挡信息包括遮挡目标物的被遮挡部分的面积与未被遮挡部分的面积的比值；根据被遮挡信息确定控制指令。

在另一些实施例中，第二确定单元1003具体用于获取在目标时间点之前的预设时间段内，所确定的至少一个被遮挡的子标记物，并将确定的至少一个被遮挡的子标记物作为参考物，其中，目标时间点为确定遮挡目标物被遮挡的时间点，根据参考物与遮挡目标物确定遮挡变化信息；根据遮挡变化信息生成控制指令。

进一步的，图像处理装置1000还包括启动单元，用于检测是否获取到启动指令，当检测到获取到启动指令时，确定目标图像中被遮挡的子标记物，并将被遮挡的子标记物作为遮挡目标物。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书、头戴显示装置等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

在一些实施例中，电子设备还可以包括图像采集装置和显示装置，且图像采集装置和显示装置均与处理器连接。图像采集装置用于采集具有标记物的图像，并将所采集的图像发送至处理器，以使处理器对该图像进行处理。而显示装置用于将虚拟对象显示并且在用户的视野内展示，以实现将虚拟对象与真实世界混合，从而形成增强现实的视觉效果。

在另一些实施例中，电子设备设置有第一接口和第二接口，该第一接口和第二接口均与处理器连接。该第一接口用于外界图像采集装置，第二接口用于外接显示装置。图像采集装置用于采集具有标记物的图像，并将所采集的图像发送至处理器，以使处理器对该图像进行处理。而显示装置用于将虚拟对象显示并且在用户的视野内展示，以实现将虚拟对象与真实世界混合，从而形成增强现实的视觉效果。

在又一些实施例中，电子设备设置有第一接口和显示装置，也可以是设置有图像采集装置和第二接口。

请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1200中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1200包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1200具有执行上述方法中的任何方法步骤的程序代码1210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1210可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：

获取采集的目标图像，所述目标图像具有标记物，所述标记物上分布有至少一个子标记物；

确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物；

获取所述遮挡目标物的被遮挡信息，所述被遮挡信息包括所述遮挡目标物的被遮挡部分的面积与未被遮挡部分的面积的比值；

确定所述遮挡目标物的被遮挡信息对应的目标控制指令，所述目标控制指令为所述遮挡目标物的身份信息对应的控制指令的子控制指令，所述子控制指令对应的第一操作包括所述控制指令对应的第二操作以及第二操作对应的参数，所述参数与所述比值相关；

根据所述目标控制指令控制已显示的虚拟对象执行第一操作。

2.根据权利要求1所述的方法，其特征在于，每个所述子标记物包括至少一个特征点，所述确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物，包括：

确定所述目标图像中被遮挡的子标记物；

确定所述被遮挡的子标记物中被遮挡的特征点，将所述被遮挡的特征点作为遮挡目标物。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物，包括：

当检测到获取到启动指令时，确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物。

4.根据权利要求3所述的方法，其特征在于，在所述当检测到获取到启动指令时之前，所述方法还包括：

检测所述目标图像中被遮挡的子标记物；

获取所述子标记物被遮挡的遮挡时间长度；

如果所述遮挡时间长度大于预设值，则判定获取到启动指令。

5.一种图像处理装置，其特征在于，包括：

获取单元，用于获取采集的目标图像，所述目标图像具有标记物，所述标记物上分布有至少一个子标记物；

第一确定单元，用于确定所述目标图像中被遮挡的子标记物，并将所述被遮挡的子标记物作为遮挡目标物；

第二确定单元，用于获取所述遮挡目标物的被遮挡信息，所述被遮挡信息包括所述遮挡目标物的被遮挡部分的面积与未被遮挡部分的面积的比值；确定所述遮挡目标物的被遮挡信息对应的目标控制指令，所述目标控制指令为所述遮挡目标物的身份信息对应的控制指令的子控制指令，所述子控制指令对应的第一操作包括所述控制指令对应的第二操作以及第二操作对应的参数，所述参数与所述比值相关；根据所述目标控制指令控制已显示的虚拟对象执行第一操作。

6.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器与所述处理器耦合；所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行所述权利要求1-4任一项所述方法。

7.一种视觉交互系统，其特征在于，包括：标记物和权利要求6所述电子设备，所述标记物上分布有至少一个子标记物。

8.一种计算机可读介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行所述权利要求1-4任一项所述方法。

Images