CN108961414A - 一种显示控制方法及装置 - Google Patents
一种显示控制方法及装置 Download PDFInfo
- Publication number
- CN108961414A CN108961414A CN201710356267.8A CN201710356267A CN108961414A CN 108961414 A CN108961414 A CN 108961414A CN 201710356267 A CN201710356267 A CN 201710356267A CN 108961414 A CN108961414 A CN 108961414A
- Authority
- CN
- China
- Prior art keywords
- user
- hand
- image data
- motion profile
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004321 preservation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000010422 painting Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 13
- 239000011521 glass Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 238000002611 posturography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种显示控制方法及装置，所述方法包括：通过摄像头采集现实场景对应的图像；从所述现实场景对应的图像中识别用户手部特征或者传感装置；捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。这样，可以解决现有的移动终端存在绘图操作时的屏幕显示大小受限的问题。
Description
技术领域
本发明涉及增强现实技术领域，特别涉及一种显示控制方法及装置。
背景技术
现实生活中，人们在出行时往往不会随身携带纸笔，如果遇到一些比较复杂或者抽象的问题，此时仅仅通过面对面的讨论或头脑思考，解决问题的效率往往会比较低，而此时如果可以通过纸笔来勾画或者打草稿，那么问题的结果和答案往往会一目了然；因此在这种情况下，人们虽未携带纸笔，却可以用几乎随身携带的移动终端所安装的绘画类或笔记类应用来进行应急处理，但是，移动终端屏幕的尺寸和大小总归受到限制，尤其是在需要多人交流互动才能解决问题时，其操作和观看不灵便的弊端更会凸显出来。
由此，现有的移动终端存在绘图操作时的屏幕显示大小受限的问题。
发明内容
本发明实施例的目的在于提供一种显示控制方法，至少解决现有的移动终端进行绘图操作时的屏幕显示大小受限的问题。
为了达到所述目的，本发明实施例提供一种显示控制方法，所述方法包括：
通过摄像头采集现实场景对应的图像；
从所述现实场景对应的图像中识别用户手部特征或者传感装置；
捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
本发明实施例还提供一种显示控制装置，所述装置包括：
采集模块，用于通过摄像头采集现实场景对应的图像；
识别模块，用于从所述现实场景对应的图像中识别用户手部特征或者传感装置；
捕捉模块，用于捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
显示模块，用于在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行的一个或多个程序，所述一个或多个程序被所述计算机执行时使所述计算机执行如所述提供的一种显示控制方法。
所述技术方案中的一个技术方案具有如下优点或有益效果：
本发明实施例，通过摄像头采集现实场景对应的图像；从所述现实场景对应的图像中识别用户手部特征或者传感装置；捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。由于可以将用户在现实场景的运动轨迹对应的涂画轨迹图像数据叠加在图像上，从而扩大了用户绘图操作的操作范围。
附图说明
图1为本发明实施例的应用情景图；
图2为本发明实施例提供的一种显示控制方法的流程示意图；
图3为本发明实施例提供的另一种显示控制方法的流程示意图；
图4为本发明实施例提供的一种显示控制装置的结构示意图；
图5为本发明实施例提供的另一种显示控制装置的结构示意图；
图6为本发明实施例提供的另一种显示控制装置的结构示意图；
图7为本发明实施例提供的另一种显示控制装置的结构示意图；
图8为本发明实施例提供的另一种显示控制装置的结构示意图；
图9为本发明实施例提供的另一种显示控制装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
参见图1，图1为本发明实施例的应用情景图，如图1所示，用户打开移动终端摄像头对准某一墙面或者桌面后，在摄像头的拍摄范围内伸出手指进行移动，同时参照手机屏幕上会显示叠加在所述墙面或所述桌面的所述手指的运动轨迹图像，从而达到绘图的目的。其中，所述移动终端可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)或可穿戴式设备(Wearable Device)等终端侧设备，需要说明的是，在本发明实施例中并不限定所述移动终端的具体类型；且所拍摄的场景不仅仅局限于所述某一墙面或者桌面，任意场景都可被用于拍摄，但是优选拍摄背景简单、信息量较少的场景，这样在屏幕上显示的图像信息更加清晰，对比也更加鲜明，从而更便于观看和操作。
参见图2，图2为本发明实施例提供的一种显示控制方法的流程示意图，如图2所示，包括以下步骤：
步骤201、通过摄像头采集现实场景对应的图像；
其中，所述摄像头可以是任何移动终端自带的摄像头，例如：手机自带的摄像头；所述现实场景可以理解为摄像头在拍摄范围内的所拍摄到的场景。
步骤202、从所述现实场景对应的图像中识别用户手部特征或者传感装置；
其中，所述用户手部特征可以理解为使用者在摄像头拍摄范围内的用于操作的手部，包含有所述用户手部的任何信息特征和信息，比如：手部的姿势、动作和形状等；所述传感装置可以为装备在用户手部，或用户使用的传感装置，例如：带有位置传感器的触控笔或其他装置等。
步骤203、捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
其中，运动轨迹图像数据可以理解为：对某一目标或者多个目标在运动过程中采样所获得的具有对应图像的数据，包括位置、时间和速度等，其中，所述数据包含有将所述运动轨迹转换成对应的图像的数据信息；通过传感装置来捕捉或追踪运动轨迹，可以提高捕捉或追踪的精确度。
步骤204、在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
其中，所述现实场景可以为摄像头拍摄范围内的任何场景。
本实施例，通过摄像头采集现实场景对应的图像；从所述现实场景对应的图像中识别用户手部特征或者传感装置；捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。由于可将用户在现实场景的运动轨迹对应的涂画轨迹图像数据叠加在图像上，从而扩大了用户绘图操作的操作范围。本实施例的所有步骤有利用增强现实(Augmented Reality，AR)技术，当然，此外还可以通过采用虚拟现实(VirtualReality，VR)技术来实现同样的技术效果，只需增设对应的VR装置即可，例如，所述摄像头可以为VR头盔或VR眼镜所配置的摄像头，所述屏幕可以为VR头盔或VR眼镜的显示设备。
参见图3，图3为本发明实施例提供的另一种显示控制方法的流程示意图，如图3所示，包括以下步骤：
步骤301、采集用户手部多张图像，对所述用户手部进行三维建模，并保存模型数据；
其中，所述采用用户手部多张图像可以理解为拍摄多张效果最好的照片，并且尽量覆盖到任何角度；所述模型数据可以为多个用户的模型数据。
步骤302、通过摄像头采集现实场景对应的图像；
其中，所述摄像头可以是任何移动终端自带的摄像头，例如：手机自带的摄像头；所述现实场景可以理解为摄像头在拍摄范围内的所拍摄到的场景。
步骤303、将所述模型数据与所述现实场景对应的图像进行比较，从所述现实场景对应的图像中查找与所述模型数据匹配的图像特征，确定与所述模型数据匹配的所述图像特征为用户手部特征；
其中，通过与所述模型数据进行匹配，可以更好的提高识别的精确度。
步骤304、若所述用户手部特征的姿势图像与预设校准姿势图像匹配，则捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据。
其中，通过预先设置校准姿势图像姿势，是为了减少错误操作的几率；如比如有时用户并不是想进行绘画操作，只是不小心移动了自己的手部，从而输出了自己不想要的图像，而预先设置校准姿势图像姿势后，只有与所述预设校准姿势图像相匹配，才会开始输出图像。
步骤305、在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
其中，所述现实场景可以为摄像头拍摄范围内的任何场景。
可选的，所述捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据，包括：
接收所述用户输入的第一选择操作，并根据所述第一选择操作，捕捉所述用户手部特征的第一运动轨迹或者所述传感装置的第一运动轨迹并记录为涂画轨迹图像数据；
其中，通过根据所述用户输入的第一选择操作来进行捕捉，这样可以适应更多的情形，提高用户操作的舒适度，比如：当用户手部疲劳后，决定休息以后再继续进行绘画操作，此时可以选择不输入所述第一选择操作，等手部疲劳缓解后，输入所述第一选择操作继续进行绘画操作。
所述方法还包括：
接收所述用户输入的第二选择操作，并根据所述第二选择操作，捕捉所述用户手部特征的第二运动轨迹或者传感装置的第二运动轨迹，记录为第一擦除轨迹图像数据，若所述第一擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据；
其中，通过所述输入的第二选择操作，可以使用户在误操作后可以对得到的图像进行修改或者更正。
或者，若所述用户手部特征的姿势图像与预设擦除姿势图像匹配，则捕捉所述用户手部的第三运动轨迹并记录为第二擦除轨迹图像数据，若所述第二擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据。
其中，通过所述预设擦除姿势图像，可以使用户更加便捷地对已经输出的图像进行修改或者更正；例如，所述预设擦除姿势图像设定为握拳姿势，用户将手部握拳后，便可对想要修改的图像进行擦除。
现以一个具体实例进行说明，例如：用户意图对已经输出的图像进行部分修改或者补正，此时输入第二选择操作，进入擦除模式，用户对照移动终端屏幕所显示的图像，移动手部，擦除所要修改的图像；擦除后，用户输入第一选择操作，进入了绘画模式，可继续绘制图像，不断重复输入所述两个操作，直至得出想要的图像为止。
这样，本实施方式通过设置用户输入的不同操作，可以使用户更加方便快捷或者更加精确的输出自己想要得到的图像。
可选的，在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示后，所述方法还包括：
接收所述用户输入的第三选择操作，并根据所述第三选择操作，将当前屏幕的画面保存在指定位置。
本实施方法中，可以通过对图片进行保存，在保存后可以分享给其他人，使得解决的问题效率更加高。
现以一个具体实例进行说明，比如：多名用户聚集在一起对某一问题进行商讨，但是均未携带纸笔，此时某一用户取出手机朝向某一面空白墙壁，每个用户将手放入所述摄像头拍摄的范围内进行校准，再对照着所述手机屏幕显示的信息，在空白墙壁方向处进行移动，从而完成绘图的目的，商讨结束后，保存屏幕上的画面，通过手机分别发送给每一个用户。
可选的，所述从所述现实场景对应的图像中识别传感装置，包括：
接收所述传感装置发送的识别信号，根据所述识别信号，从所述现实场景对应的图像中确定所述传感装置；
其中，通过接受所述传感装置发送的识别信号，可以更加精确的确定想要捕捉的对象的位置。
所述捕捉所述传感装置的运动轨迹并记录为涂画轨迹图像数据包括：
接收所述传感装置发送的位置信息，根据发送时刻的先后顺序将所述位置信息记录为涂画轨迹图像数据。
本实施方式，通过捕捉所述传感装置的运动轨迹可以增加捕捉的精确度。
可选的，从所述现实场景对应的图像中识别用户手部特征或者传感装置后，所述方法还包括：
若识别出至少两个用户手部特征或者至少两个传感装置，对所述至少两个用户手部特征或者所述至少两个传感装置分配不同的标识；
其中，所述标识用于对多个用户的手部特征或者多个传感装置进行区分。
所述捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据包括：
捕捉分配有所述标识的所述至少两个用户手部特征的运动轨迹或者分配有所述标识的至少两个传感装置的运动轨迹，记录为所述标识对应的涂画轨迹图像数据，其中，所述标识对应的涂画轨迹图像数据对应的图像的颜色彼此不同。
本实施方式，通过对多个用户分配所述标识，从而可以对多个用户的手部特征或者多个传感装置进行区分。例如，多个用户A、B、C汇集在一起进行商量和讨论，此时，用户A利用自己随身携带的手机，用摄像头拍摄某一面空白墙壁，每个用户都对照用户A的手机屏幕，在所述摄像头拍摄范围内进行绘图操作，对用户A分配标识1，对用户B分配标识2，对用户C分配标识3，标识1对应红色，标识2对应蓝色，标识3对应绿色，这样标识1、2、3所对应的运动轨迹的图像颜色是不同的，从而使得多个用户可以更容易区分自己所画得图像，从而更加有效率的解决问题。
本实施例，由于可以将用户在现实场景的运动轨迹对应的涂画轨迹图像数据叠加在图像上，从而扩大了用户绘图操作的操作范围。同时，通过对用户增加一个校准的环节，可以有效地降低用户错误操作的几率，从而更加有效的解决问题；本实施例的所有步骤均有利用AR技术，当然，此外还可以通过采用VR技术来实现同样的技术效果，只需增设对应的VR装置即可，例如，所述摄像头可以为VR头盔或VR眼镜所配置的摄像头，所述屏幕可以为VR头盔或VR眼镜的显示设备。如图4所示，本发明实施例提供一种显示控制装置400，包括：
采集模块401，用于通过摄像头采集现实场景对应的图像；
识别模块402，用于从所述现实场景对应的图像中识别用户手部特征或者传感装置；
捕捉模块403，用于捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
显示模块404，用于在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
可选的，如图4所示，所述捕捉模块403用于：
若所述用户手部特征的姿势图像与预设校准姿势图像匹配，则捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据。
可选的，如图5所示，所述装置400还包括：
建模模块405，用于采集用户手部多张图像，对所述用户手部进行三维建模，并保存模型数据；
所述捕捉模块403，用于将所述模型数据与所述现实场景对应的图像进行比较，从所述现实场景对应的图像中查找与所述模型数据匹配的图像特征，确定与所述模型数据匹配的所述图像特征为用户手部特征。
可选的，如图4所示，所述捕捉模块403用于：
接收所述用户输入的第一选择操作，并根据所述第一选择操作，捕捉所述用户手部特征的第一运动轨迹或者所述传感装置的第一运动轨迹并记录为涂画轨迹图像数据；
如图6和图7所示，所述装置400还包括：
第一擦除模块406，用于接收所述用户输入的第二选择操作，并根据所述第二选择操作，捕捉所述用户手部特征的第二运动轨迹或者传感装置的第二运动轨迹，记录为第一擦除轨迹图像数据，若所述第一擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据；
或者，第二擦除模块407，用于若所述用户手部特征的姿势图像与预设擦除姿势图像匹配，则捕捉所述用户手部的第三运动轨迹并记录为第二擦除轨迹图像数据，若所述第二擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据。
可选的，如图8所示，所述装置400还包括：
保存模块408，用于接收所述用户输入的第三选择操作，并根据所述第三选择操作，将当前屏幕的画面保存在指定位置。
可选的，如图4所示，所述识别模块402，用于：
接收所述传感装置发送的识别信号，根据所述识别信号，从所述现实场景对应的图像中确定所述传感装置；
所述捕捉模块403，用于：
接收所述传感装置发送的位置信息，根据发送时刻的先后顺序将所述位置信息记录为涂画轨迹图像数据。
可选的，如图9所示，所述装置400还包括：
标识模块409，用于若识别出至少两个用户手部特征或者至少两个传感装置，对所述至少两个用户手部特征或者所述至少两个传感装置分配不同的标识；
所述捕捉模块403，用于：
捕捉分配有所述标识的所述至少两个用户手部特征的运动轨迹或者分配有所述标识的至少两个传感装置的运动轨迹，记录为所述标识对应的涂画轨迹图像数据，其中，所述标识对应的涂画轨迹图像数据对应的图像的颜色彼此不同。
本发明实施例提供的装置，由于可以将用户在现实场景的运动轨迹对应的涂画轨迹图像数据叠加在图像上，从而扩大了用户绘图操作的操作范围。本实施例的部分模块有利用AR技术，当然，此外还可以通过采用VR技术来实现同样的技术效果，只需增设对应的VR装置即可，例如，所述采集模块的摄像头可以为VR头盔或VR眼镜所配置的摄像头，所述显示模块的屏幕可以为VR头盔或VR眼镜的显示设备。
本领域普通技术人员可以理解实现所述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一计算机可读取介质中，该程序在执行时，包括以下步骤：
通过摄像头采集现实场景对应的图像；
从所述现实场景对应的图像中识别用户手部特征或者传感装置；
捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
可选的，所述捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据，包括：
若所述用户手部特征的姿势图像与预设校准姿势图像匹配，则捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据。
可选的，在通过摄像头采集现实场景对应的图像之前，所述方法还包括：
采集用户手部多张图像，对所述用户手部进行三维建模，并保存模型数据；
所述从所述现实场景对应的图像中识别用户手部特征包括：
将所述模型数据与所述现实场景对应的图像进行比较，从所述现实场景对应的图像中查找与所述模型数据匹配的图像特征，确定与所述模型数据匹配的所述图像特征为用户手部特征。
可选的，所述捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据，包括：
接收所述用户输入的第一选择操作，并根据所述第一选择操作，捕捉所述用户手部特征的第一运动轨迹或者所述传感装置的第一运动轨迹并记录为涂画轨迹图像数据；
所述方法还包括：
接收所述用户输入的第二选择操作，并根据所述第二选择操作，捕捉所述用户手部特征的第二运动轨迹或者传感装置的第二运动轨迹，记录为第一擦除轨迹图像数据，若所述第一擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据；
或者，若所述用户手部特征的姿势图像与预设擦除姿势图像匹配，则捕捉所述用户手部的第三运动轨迹并记录为第二擦除轨迹图像数据，若所述第二擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据。
可选的，在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示后，所述方法还包括：
接收所述用户输入的第三选择操作，并根据所述第三选择操作，将当前屏幕的画面保存在指定位置。
可选的，所述从所述现实场景对应的图像中识别传感装置，包括：
接收所述传感装置发送的识别信号，根据所述识别信号，从所述现实场景对应的图像中确定所述传感装置；
所述捕捉所述传感装置的运动轨迹并记录为涂画轨迹图像数据包括：
接收所述传感装置发送的位置信息，根据发送时刻的先后顺序将所述位置信息记录为涂画轨迹图像数据。
可选的，从所述现实场景对应的图像中识别用户手部特征或者传感装置后，所述方法还包括：
若识别出至少两个用户手部特征或者至少两个传感装置，对所述至少两个用户手部特征或者所述至少两个传感装置分配不同的标识；
所述捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据包括：
捕捉分配有所述标识的所述至少两个用户手部特征的运动轨迹或者分配有所述标识的至少两个传感装置的运动轨迹，记录为所述标识对应的涂画轨迹图像数据，其中，所述标识对应的涂画轨迹图像数据对应的图像的颜色彼此不同。
所述的存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种显示控制方法，其特征在于，包括：
通过摄像头采集现实场景对应的图像；
从所述现实场景对应的图像中识别用户手部特征或者传感装置；
捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
2.根据权利要求1所述的方法，所述捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据，包括：
若所述用户手部特征的姿势图像与预设校准姿势图像匹配，则捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据。
3.根据权利要求1或2所述的方法，其特征在于，在通过摄像头采集现实场景对应的图像之前，所述方法还包括：
采集用户手部多张图像，对所述用户手部进行三维建模，并保存模型数据；
所述从所述现实场景对应的图像中识别用户手部特征包括：
将所述模型数据与所述现实场景对应的图像进行比较，从所述现实场景对应的图像中查找与所述模型数据匹配的图像特征，确定与所述模型数据匹配的所述图像特征为用户手部特征。
4.根据权利要求1所述的方法，其特征在于，所述捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据，包括：
接收所述用户输入的第一选择操作，并根据所述第一选择操作，捕捉所述用户手部特征的第一运动轨迹或者所述传感装置的第一运动轨迹并记录为涂画轨迹图像数据；
所述方法还包括：
接收所述用户输入的第二选择操作，并根据所述第二选择操作，捕捉所述用户手部特征的第二运动轨迹或者传感装置的第二运动轨迹，记录为第一擦除轨迹图像数据，若所述第一擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据；
或者，若所述用户手部特征的姿势图像与预设擦除姿势图像匹配，则捕捉所述用户手部的第三运动轨迹并记录为第二擦除轨迹图像数据，若所述第二擦除轨迹图像数据与所述涂画轨迹图像数据重合，则删除重合部分的涂画轨迹图像数据。
5.根据权利要求3所述的方法，其特征在于，在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示后，所述方法还包括：
接收所述用户输入的第三选择操作，并根据所述第三选择操作，将当前屏幕的画面保存在指定位置。
6.根据权利要求1所述的方法，其特征在于，所述从所述现实场景对应的图像中识别传感装置，包括：
接收所述传感装置发送的识别信号，根据所述识别信号，从所述现实场景对应的图像中确定所述传感装置；
所述捕捉所述传感装置的运动轨迹并记录为涂画轨迹图像数据包括：
接收所述传感装置发送的位置信息，根据发送时刻的先后顺序将所述位置信息记录为涂画轨迹图像数据。
7.根据权利要求6所述的方法，其特征在于，从所述现实场景对应的图像中识别用户手部特征或者传感装置后，所述方法还包括：
若识别出至少两个用户手部特征或者至少两个传感装置，对所述至少两个用户手部特征或者所述至少两个传感装置分配不同的标识；
所述捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据包括：
捕捉分配有所述标识的所述至少两个用户手部特征的运动轨迹或者分配有所述标识的至少两个传感装置的运动轨迹，记录为所述标识对应的涂画轨迹图像数据，其中，所述标识对应的涂画轨迹图像数据对应的图像的颜色彼此不同。
8.一种显示控制装置，其特征在于，包括:
采集模块，用于通过摄像头采集现实场景对应的图像
识别模块，用于从所述现实场景对应的图像中识别用户手部特征或者传感装置；
捕捉模块，用于捕捉所述用户手部特征的运动轨迹或者所述传感装置的运动轨迹并记录为涂画轨迹图像数据；
显示模块，用于在所述现实场景对应的图像上叠加所述涂画轨迹图像数据对应的图像，并在屏幕显示。
9.根据权利要求8所述的装置，其特征在于，所述捕捉模块用于：
若所述用户手部特征的姿势图像与预设校准姿势图像匹配，则捕捉所述用户手部特征的运动轨迹并记录为涂画轨迹图像数据。
10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：
建模模块，用于采集用户手部多张图像，对所述用户手部进行三维建模，并保存模型数据；
所述识别模块，用于：将所述模型数据与所述现实场景对应的图像进行比较，从所述现实场景对应的图像中查找与所述模型数据匹配的图像特征，确定与所述模型数据匹配的所述图像特征为用户手部特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710356267.8A CN108961414A (zh) | 2017-05-19 | 2017-05-19 | 一种显示控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710356267.8A CN108961414A (zh) | 2017-05-19 | 2017-05-19 | 一种显示控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108961414A true CN108961414A (zh) | 2018-12-07 |
Family
ID=64462068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710356267.8A Pending CN108961414A (zh) | 2017-05-19 | 2017-05-19 | 一种显示控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961414A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023065963A1 (zh) * | 2021-10-19 | 2023-04-27 | 北京字跳网络技术有限公司 | 互动展示方法、装置、电子设备及可读介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6356073A (ja) * | 1986-08-26 | 1988-03-10 | Omron Tateisi Electronics Co | 軌跡表示装置 |
| JP2006154901A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 空間手書き装置 |
| US20120110516A1 (en) * | 2010-10-28 | 2012-05-03 | Microsoft Corporation | Position aware gestures with visual feedback as input method |
| CN202584007U (zh) * | 2012-01-19 | 2012-12-05 | 深圳市骄阳数字图像技术有限责任公司 | 模拟场景展示系统 |
| WO2012163096A1 (zh) * | 2011-05-30 | 2012-12-06 | 中兴通讯股份有限公司 | 一种涂鸦的方法及系统 |
| US20140035805A1 (en) * | 2009-04-02 | 2014-02-06 | David MINNEN | Spatial operating environment (soe) with markerless gestural control |
| CN103823554A (zh) * | 2014-01-12 | 2014-05-28 | 青岛科技大学 | 一种数字化虚实交互系统及方法 |
| US20140177909A1 (en) * | 2012-12-24 | 2014-06-26 | Industrial Technology Research Institute | Three-dimensional interactive device and operation method thereof |
| CN104732560A (zh) * | 2015-02-03 | 2015-06-24 | 长春理工大学 | 基于动作捕捉系统的虚拟摄像机拍摄方法 |
| US20150261385A1 (en) * | 2014-03-17 | 2015-09-17 | Seiko Epson Corporation | Picture signal output apparatus, picture signal output method, program, and display system |
| CN105279795A (zh) * | 2014-07-09 | 2016-01-27 | 先科媒体有限公司 | 基于3d标记的增强现实系统 |
| CN105945947A (zh) * | 2016-05-20 | 2016-09-21 | 西华大学 | 基于手势控制的机器人写字系统及其控制方法 |
| JP2017033294A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社イメージソース | ３次元描画システム及び３次元描画プログラム |
-
2017
- 2017-05-19 CN CN201710356267.8A patent/CN108961414A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6356073A (ja) * | 1986-08-26 | 1988-03-10 | Omron Tateisi Electronics Co | 軌跡表示装置 |
| JP2006154901A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 空間手書き装置 |
| US20140035805A1 (en) * | 2009-04-02 | 2014-02-06 | David MINNEN | Spatial operating environment (soe) with markerless gestural control |
| US20120110516A1 (en) * | 2010-10-28 | 2012-05-03 | Microsoft Corporation | Position aware gestures with visual feedback as input method |
| WO2012163096A1 (zh) * | 2011-05-30 | 2012-12-06 | 中兴通讯股份有限公司 | 一种涂鸦的方法及系统 |
| CN202584007U (zh) * | 2012-01-19 | 2012-12-05 | 深圳市骄阳数字图像技术有限责任公司 | 模拟场景展示系统 |
| US20140177909A1 (en) * | 2012-12-24 | 2014-06-26 | Industrial Technology Research Institute | Three-dimensional interactive device and operation method thereof |
| CN103823554A (zh) * | 2014-01-12 | 2014-05-28 | 青岛科技大学 | 一种数字化虚实交互系统及方法 |
| US20150261385A1 (en) * | 2014-03-17 | 2015-09-17 | Seiko Epson Corporation | Picture signal output apparatus, picture signal output method, program, and display system |
| CN105279795A (zh) * | 2014-07-09 | 2016-01-27 | 先科媒体有限公司 | 基于3d标记的增强现实系统 |
| CN104732560A (zh) * | 2015-02-03 | 2015-06-24 | 长春理工大学 | 基于动作捕捉系统的虚拟摄像机拍摄方法 |
| JP2017033294A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社イメージソース | ３次元描画システム及び３次元描画プログラム |
| CN105945947A (zh) * | 2016-05-20 | 2016-09-21 | 西华大学 | 基于手势控制的机器人写字系统及其控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023065963A1 (zh) * | 2021-10-19 | 2023-04-27 | 北京字跳网络技术有限公司 | 互动展示方法、装置、电子设备及可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022166243A1 (zh) | 捏合手势检测识别方法、装置及系统 | |
| US9256986B2 (en) | Automated guidance when taking a photograph, using virtual objects overlaid on an image | |
| CN112506340B (zh) | 设备控制方法、装置、电子设备及存储介质 | |
| CN104199550A (zh) | 人机交互式虚拟触控装置、系统及方法 | |
| CN107483834A (zh) | 一种图像处理方法、连拍方法及装置和相关介质产品 | |
| CN110688914A (zh) | 一种手势识别的方法、智能设备、存储介质和电子设备 | |
| CN112287867B (zh) | 一种多摄像头的人体动作识别方法及装置 | |
| WO2022174594A1 (zh) | 基于多相机的裸手追踪显示方法、装置及系统 | |
| WO2023273372A1 (zh) | 手势识别对象确定方法及装置 | |
| JPWO2011142313A1 (ja) | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 | |
| WO2020032254A1 (ja) | 注意対象推定装置及び注意対象推定方法 | |
| CN111103981A (zh) | 控制指令生成方法及装置 | |
| KR101586071B1 (ko) | 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 | |
| JP5536124B2 (ja) | 画像処理システム及び画像処理方法 | |
| CN110059621A (zh) | 手柄光球颜色的控制方法、装置及设备 | |
| CN108961414A (zh) | 一种显示控制方法及装置 | |
| CN108227923A (zh) | 一种基于体感技术的虚拟触控系统和方法 | |
| CN116766213A (zh) | 一种基于图像处理的仿生手控制方法、系统和设备 | |
| JP6971788B2 (ja) | 画面表示制御方法および画面表示制御システム | |
| CN109889892A (zh) | 视频效果添加方法、装置、设备及存储介质 | |
| US20150042745A1 (en) | File operation method and file operation apparatus for use in network video conference system | |
| CN115390739A (zh) | 基于手掌触控的远程交互输入方法及装置、电子设备 | |
| Schneider et al. | Towards around-device interaction using corneal imaging | |
| CN104199549A (zh) | 人机交互式虚拟触控装置、系统及方法 | |
| KR102582349B1 (ko) | 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181207 |