CN105491365A - 基于移动终端的图像处理方法、装置及系统 - Google Patents

基于移动终端的图像处理方法、装置及系统 Download PDF

Info

Publication number
CN105491365A
CN105491365A CN201510831279.2A CN201510831279A CN105491365A CN 105491365 A CN105491365 A CN 105491365A CN 201510831279 A CN201510831279 A CN 201510831279A CN 105491365 A CN105491365 A CN 105491365A
Authority
CN
China
Prior art keywords
image
target pattern
mobile terminal
image processing
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510831279.2A
Other languages
English (en)
Inventor
罗军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Branch Industrial Co Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510831279.2A priority Critical patent/CN105491365A/zh
Publication of CN105491365A publication Critical patent/CN105491365A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于移动终端的图像处理方法，包括：开启移动终端的摄像头以拍摄真实世界所对应的视频图像；识别所述视频图像中是否存在可识别的目标图案图像；若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。本发明还公开了一种基于移动终端的图像处理装置及系统。本发明基于移动终端进行增强现实的图像处理，实现了现实场景图像与移动终端内置虚拟内容的交互，进而扩展了增强现实的应用领域，提高用户使用体验。

Description

基于移动终端的图像处理方法、装置及系统
技术领域
本发明涉及通信技术领域，尤其涉及基于移动终端的图像处理方法、装置及系统。
背景技术
增强现实(AugmentedReality，简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过计算机等科学技术进行模拟仿真后再叠加，从而将虚拟信息应用到真实世界而被人类感官所感知，从而达到超越现实的感官体验。但现有大多数的移动增强现实系统要求用户随身佩戴便携式计算机、电源、头盔显示器、摄像机等，同时该类系统体积庞大笨重、造价高昂、不易长期携带及维护，因此应用领域较窄，同时头盔显示器定位精度要求高且用户使用时的视野较窄，因而不能为用户带来更佳的使用体验。
发明内容
本发明的主要目的在于提供基于移动终端的图像处理方法、装置及系统，旨在解决如何通过移动终端以扩展现有增强现实技术中的图像处理方式，进而为用户提供更具趣味性与便利性的图像处理方式的技术问题。
为实现上述目的，本发明提供一种基于移动终端的图像处理方法，所述图像处理方法包括：
开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
识别所述视频图像中是否存在可识别的目标图案图像；
若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
优选地，所述识别所述视频图像中是否存在可识别的目标图案图像包括：
提取所述视频图像中的图像特征信息；
根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
优选地，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后包括：
当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
优选地，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后还包括：
将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
进一步地，为实现上述目的，本发明还提供一种基于移动终端的图像处理装置，所述图像处理装置包括：
视频图像获取模块，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
目标图案识别模块，用于识别所述视频图像中是否存在可识别的目标图案图像；
三维模型建立模块，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
图像增强模块，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
优选地，所述目标图案识别模块包括：
特征提取单元，用于提取所述视频图像中的图像特征信息；
图像匹配单元，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
优选地，所述图像处理装置还包括：
图像跟踪处理模块，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
优选地，所述图像处理装置还包括：
图案信息发送模块，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
进一步地，本发明还提供一种图像处理系统，包括移动终端、服务器，其中，所述移动终端包括摄像头以及上述任一项所述的图像处理装置。
本发明基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像；为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
附图说明
图1为本发明基于移动终端的图像处理方法第一实施例的流程示意图；
图2为图1中步骤S20的细化流程示意图；
图3为本发明基于移动终端的图像处理方法第二实施例的流程示意图；
图4为本发明基于移动终端的图像处理方法第三实施例的流程示意图；
图5为本发明基于移动终端的图像处理装置第一实施例的功能模块示意图；
图6为图5中目标图案识别模块的细化功能模块示意图；
图7为本发明基于移动终端的图像处理装置第二实施例的功能模块示意图；
图8为本发明基于移动终端的图像处理装置第三实施例的功能模块示意图；
图9为本发明图像处理系统一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明基于移动终端的图像处理方法第一实施例的流程示意图。本实施例中，所述图像处理方法包括：
步骤S10，开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
现有方式主要采用头盔显示器进行真实世界图像与虚拟图像结合的图像处理，因而受限于设备而不能扩展现有增强现实技术中的图像处理方式与应用领域。本实施例中，采用移动终端进行图像处理，同时移动终端具备有摄像、处理及显示的基本硬件要求，从而使拍摄的真实世界图像与虚拟图像之间的无缝结合，进而使用户产生“真实”的视觉感受，为用户提供更具趣味性与便利性的图像处理方式。
步骤S20，识别所述视频图像中是否存在可识别的目标图案图像；
本实施例中，可识别的目标图案既可以为物理印刷的特定图案，并印刷在某一物体上，比如印刷在课本上的图案、汉字，印刷在陶瓷上的图案，此外，该可识别的目标图案也可以是人物的头部图像、手指上的指甲图像等，其具体根据实际的图像应用进行预设。另外，本实施例中，对于目标图案的识别方式不限，具体根据实际需要进行设置。例如可由移动终端根据相应图像识别技术进行自动识别。
步骤S30，若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
本实施例中，对于加载目标图案图像所对应的三维模型的加载方式不限，例如，直接从移动终端的本地数据库中加载，或者先查询移动终端的本地数据库，若没有，则向服务器发送加载请求，以从服务器端获取相应的三维模型。此外，本实施例中也可以由用户手动选择性加载，比如，用户需要查看手指进行美甲后的效果，此时用户并不需要真正地去涂抹指甲油，而是本实施例中方法进行虚拟合成显示，在显示过程中，用户可以手动选择加载需要查看的美甲样式。本实施例中，为带给用户更为逼真的显示效果，因此，进一步需要将加载显示的虚拟图像进行立体处理，也即预先建立相应的三维模型，然后再对三维模型进行立体渲染进而生成三维虚拟物体图像，从而能够从视觉上带给用户更为真实的感受。
步骤S40，将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
本实施例中，为便于在摄像头所拍摄的视频图像中加入非真实的虚拟图像，从而使用户能够在摄像头所拍摄的真实世界场景中感觉到虚拟图像的真实存在，因此，需要对摄像头的相关摄像参数进行标定，具体可通过建立目标图案图像在真实世界中的三维坐标系，也即世界坐标系，建立摄像头所在的摄像坐标系以及建立显示屏上图像像素坐标系，进而根据世界坐标系、摄像坐标系与图像像素坐标系的相互转化关系，将摄像头所拍摄的真实世界以视频图像方式显示到显示屏上；同时，再以视频图像中目标图案图像为基准，进行三维虚拟物体图像与视频图像的叠加处理，其中，三维虚拟物体图像叠加显示的具体位置、方向具体根据实际需要进行设置。比如，环绕在目标图案图像周围，或者覆盖在目标图案图像上。
本实施例基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像；为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
参照图2，图2为图1中步骤S20的细化流程示意图。基于上述实施例，本实施例中，上述步骤S20包括：
步骤S201，提取所述视频图像中的图像特征信息；
步骤S202，根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
本实施例中，提取视频图像中的图像特征信息至少包括颜色特征、纹理特、形状特征以及局部特征点中的任意组合特征信息。根据提取的图像特征信息，采用预置的图像特征检测匹配算法，比如Sift特征匹配算法、ORB算法、Harris角点检测算法等，以用于检测移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息中是否存在与提取的图像特征信息相匹配的特定图案，若存在，则确定该匹配到的特定图案即为可识别的目标图案，也即确定视频图像中存在可识别的目标图案图像。
比如，优先检测移动终端本地数据库中是否存在与提取的图像特征信息相匹配的特定图案，若不存在，则将提取的图像特征信息上传服务器端进行匹配，若服务器端也不存在，则等待用户调整摄像头所拍摄的真实世界场景进而再行确定。
参照图3，图3为本发明基于移动终端的图像处理方法第二实施例的流程示意图。基于上述实施例，本实施例中，在步骤S40之后包括：
步骤S50，当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
本实施例中，考虑到摄像头拍摄过程中并不一定是保持在固定摄像位置上进行拍摄，同时，被拍摄对象(带有目标图案图像)也有可能发生运动变化时，因此，为进一步提升用户使用体验，需要保持所拍摄的视频图像与三维虚拟物体图像的同步变化，从而使得视频图像与三维虚拟物体图像的叠加更为自然，进而带给用户更为逼真的视觉体验。
本实施例中，具体采用预置的跟踪算法目标图案图像，比如SIFT-K-CT(SIFT-K-meansContourTracking)跟踪算法，此外，还可对目标图案进行特殊设计处理，比如设置特殊的颜色、纹理等，进而提高跟踪的处理效率及准确率。
参照图4，图4为本发明基于移动终端的图像处理方法第三实施例的流程示意图。基于上述实施例，本实施例中，在步骤S40之后还包括：
步骤S60，将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
本实施例中，本发明图像处理方法可以设置为一款基于移动终端实现的APP应用程序，例如，设置为产品推广应用APP，虚拟美甲APP等。同时，为进一步了解用户使用产品的偏好程度，具体可将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器，从而服务器端可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
参照图5，图5为本发明基于移动终端的图像处理装置第一实施例的功能模块示意图。本实施例中，所述图像处理装置包括：
视频图像获取模块10，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
现有方式主要采用头盔显示器进行真实世界图像与虚拟图像结合的图像处理，因而受限于设备而不能扩展现有增强现实技术中的图像处理方式与应用领域。本实施例中，采用移动终端进行图像处理，同时移动终端具备有摄像、处理及显示的基本硬件要求，从而使拍摄的真实世界图像与虚拟图像之间的无缝结合，进而使用户产生“真实”的视觉感受，为用户提供更具趣味性与便利性的图像处理方式。
本实施例中，通过视频图像获取模块10开启移动终端的摄像头以拍摄真实世界所对应的视频图像。
目标图案识别模块20，用于识别所述视频图像中是否存在可识别的目标图案图像；
本实施例中，可识别的目标图案既可以为物理印刷的特定图案，并印刷在某一物体上，比如印刷在课本上的图案、汉字，印刷在陶瓷上的图案，此外，该可识别的目标图案也可以是人物的头部图像、手指上的指甲图像等，其具体根据实际的图像应用进行预设。另外，本实施例中，对于目标图案的识别方式不限，具体根据实际需要进行设置。例如可由移动终端根据相应图像识别技术进行自动识别。
当通过视频图像获取模块10开启移动终端的摄像头以拍摄真实世界所对应的视频图像后，目标图案识别模块20识别所述视频图像中是否存在可识别的目标图案图像。
三维模型建立模块30，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
本实施例中，对于加载目标图案图像所对应的三维模型的加载方式不限，例如，直接从移动终端的本地数据库中加载，或者先查询移动终端的本地数据库，若没有，则向服务器发送加载请求，以从服务器端获取相应的三维模型。此外，本实施例中也可以由用户手动选择性加载，比如，用户需要查看手指进行美甲后的效果，此时用户并不需要真正地去涂抹指甲油，而是本实施例中方法进行虚拟合成显示，在显示过程中，用户可以手动选择加载需要查看的美甲样式。
本实施例中，为带给用户更为逼真的显示效果，因此，进一步通过三维模型建立模块30将加载显示的虚拟图像进行立体处理，也即预先建立相应的三维模型，然后再对三维模型进行立体渲染进而生成三维虚拟物体图像，从而能够从视觉上带给用户更为真实的感受。
图像增强模块40，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
本实施例中，为便于在摄像头所拍摄的视频图像中加入非真实的虚拟图像，从而使用户能够在摄像头所拍摄的真实世界场景中感觉到虚拟图像的真实存在，因此，需要对摄像头的相关摄像参数进行标定，具体可通过建立目标图案图像在真实世界中的三维坐标系，也即世界坐标系，建立摄像头所在的摄像坐标系以及建立显示屏上图像像素坐标系，进而根据世界坐标系、摄像坐标系与图像像素坐标系的相互转化关系，将摄像头所拍摄的真实世界以视频图像方式显示到显示屏上；同时，通过图像增强模块40进行三维虚拟物体图像与视频图像的叠加处理，其中，三维虚拟物体图像叠加显示的具体位置、方向具体根据实际需要进行设置。比如，环绕在目标图案图像周围，或者覆盖在目标图案图像上。
本实施例基于移动终端对摄像头所拍摄的真实世界的视频图像进行图像处理，通过内置摄像头拍摄真实世界，同时在移动终端上显示相应的视频图像；为完成虚拟图像的自动叠加处理，需要先识别所拍摄的视频图像中是否存在可识别的目标图案图像，若存在，则自动加载生成相应的三维虚拟物体图像并与该视频图像进行叠加显示，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
参照图6，图6为图5中目标图案识别模块的细化功能模块示意图。基于上述实施例，本实施例中，所述目标图案识别模块20包括：
特征提取单元201，用于提取所述视频图像中的图像特征信息；
图像匹配单元202，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
本实施例中，特征提取单元201所提取视频图像中的图像特征信息至少包括颜色特征、纹理特、形状特征以及局部特征点中的任意组合特征信息。图像匹配单元202根据提取的图像特征信息，采用预置的图像特征检测匹配算法，比如Sift特征匹配算法、ORB算法、Harris角点检测算法等，以用于检测移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息中是否存在与提取的图像特征信息相匹配的特定图案，若存在，则确定该匹配到的特定图案即为可识别的目标图案，也即确定视频图像中存在可识别的目标图案图像。
比如，优先检测移动终端本地数据库中是否存在与提取的图像特征信息相匹配的特定图案，若不存在，则将提取的图像特征信息上传服务器端进行匹配，若服务器端也不存在，则等待用户调整摄像头所拍摄的真实世界场景进而再行确定。
参照图7，图7为本发明基于移动终端的图像处理装置第二实施例的功能模块示意图。基于上述实施例，本实施例中，所述图像处理装置还包括：
图像跟踪处理模块50，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
本实施例中，考虑到摄像头拍摄过程中并不一定是保持在固定摄像位置上进行拍摄，同时，被拍摄对象(带有目标图案图像)也有可能发生运动变化时，因此，为进一步提升用户使用体验，通过图像跟踪处理模块50以保持所拍摄的视频图像与三维虚拟物体图像的同步变化，从而使得视频图像与三维虚拟物体图像的叠加更为自然，进而带给用户更为逼真的视觉体验。
本实施例中，具体采用预置的跟踪算法跟踪目标图案图像，比如SIFT-K-CT(SIFT-K-meansContourTracking)跟踪算法，此外，还可对目标图案进行特殊设计处理，比如设置特殊的颜色、纹理等，进而提高跟踪的处理效率及准确率。
参照图8，图8为本发明基于移动终端的图像处理装置第三实施例的功能模块示意图。基于上述实施例，本实施例中，所述图像处理装置还包括：
图案信息发送模块60，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
本实施例中，本发明图像处理方法可以设置为一款基于移动终端实现的APP应用程序以便于用户在移动终端上使用，例如，设置为产品推广应用APP，虚拟美甲APP等。同时，为进一步了解用户使用产品的偏好程度，通过图案信息发送模块60将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器，从而服务器端可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
参照图9，图9为本发明图像处理系统一实施例的功能模块示意图。本实施例中，所述图像处理系统包括移动终端210、服务器220，其中，移动终端210包括摄像头2101以及上述所述的图像处理装置2102。
本实施例中，用户使用移动终端210并通过移动终端210内的图像处理装置2102，对摄像头2101所拍摄的真实世界的视频图像进行图像处理，同时在移动终端210上显示相应的视频图像；此外，通过图像处理装置2102完成虚拟图像与视频图像的自动叠加处理，从而为用户提供虚实图像结合的逼真视觉感受，并进一步扩展了现有采用头盔显示器进行图像处理的方法，进而为用户提供更具趣味性与便利性的图像处理方式。
此外，为进一步了解用户使用产品(比如图像处理APP)的偏好程度，可将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器220，从而服务器220可通过云计算方式统计分析用户对不同目标图案的偏好程度，从而精准获取不同产品在市场上的用户偏好数据，进而相应调整产品的生产，提高了产品供应商对市场变化的反应处理能力。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于移动终端的图像处理方法，其特征在于，所述图像处理方法包括：
开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
识别所述视频图像中是否存在可识别的目标图案图像；
若存在，则加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述识别所述视频图像中是否存在可识别的目标图案图像包括：
提取所述视频图像中的图像特征信息；
根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
3.如权利要求1或2所述的图像处理方法，其特征在于，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后包括：
当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
4.如权利要求3所述的图像处理方法，其特征在于，所述将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像之后还包括：
将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
5.一种基于移动终端的图像处理装置，其特征在于，所述图像处理装置包括：
视频图像获取模块，用于开启移动终端的摄像头以拍摄真实世界所对应的视频图像；
目标图案识别模块，用于识别所述视频图像中是否存在可识别的目标图案图像；
三维模型建立模块，用于当所述视频图像中存在可识别的目标图案图像时，加载所述目标图案图像所对应的三维模型并进行立体渲染以生成三维虚拟物体图像；
图像增强模块，用于将所述三维虚拟物体图像与所述视频图像叠加并显示叠加处理后的图像。
6.如权利要求5所述的图像处理装置，其特征在于，所述目标图案识别模块包括：
特征提取单元，用于提取所述视频图像中的图像特征信息；
图像匹配单元，用于根据所提取的图像特征信息，匹配移动终端数据库或服务器端数据库中所保存的特定图案的图像特征信息，以确定所述视频图像中是否存在可识别的目标图案图像。
7.如权利要求5或6所述的图像处理装置，其特征在于，所述图像处理装置还包括：
图像跟踪处理模块，用于当摄像头和/或所述目标图案图像发生运动变化时，启动预置的跟踪算法以同步更新并显示所拍摄的视频图像与所述三维虚拟物体图像进行叠加处理后的图像。
8.如权利要求7所述的图像处理装置，其特征在于，所述图像处理装置还包括：
图案信息发送模块，用于将所识别成功的目标图案图像所对应的目标图案的相关信息发送至服务器以供服务器统计分析用户对不同目标图案的偏好程度。
9.一种图像处理系统，其特征在于，所述图像处理系统包括移动终端、服务器，其中，所述移动终端包括摄像头以及权利要求5-8中任一项所述的图像处理装置。
CN201510831279.2A 2015-11-25 2015-11-25 基于移动终端的图像处理方法、装置及系统 Pending CN105491365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510831279.2A CN105491365A (zh) 2015-11-25 2015-11-25 基于移动终端的图像处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510831279.2A CN105491365A (zh) 2015-11-25 2015-11-25 基于移动终端的图像处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN105491365A true CN105491365A (zh) 2016-04-13

Family

ID=55678039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510831279.2A Pending CN105491365A (zh) 2015-11-25 2015-11-25 基于移动终端的图像处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN105491365A (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847583A (zh) * 2016-05-10 2016-08-10 北京奇虎科技有限公司 在移动终端上进行图像处理的方法及装置
CN105979154A (zh) * 2016-06-28 2016-09-28 广东欧珀移动通信有限公司 一种增强现实ar的拍摄方法、装置及智能终端
CN106060528A (zh) * 2016-08-05 2016-10-26 福建天泉教育科技有限公司 基于手机端和电子白板的增强现实方法及系统
CN106056992A (zh) * 2016-07-20 2016-10-26 广东沃赛科技有限公司 Ar增强现实教学系统
CN106128212A (zh) * 2016-08-27 2016-11-16 大连新锐天地传媒有限公司 基于增强现实技术的书法学习系统及方法
CN106126067A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种触发增强现实功能开启的方法、装置及移动终端
CN106126066A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实功能的控制方法、装置及移动终端
CN106295504A (zh) * 2016-07-26 2017-01-04 车广为 人脸识别基础上的增强显示方法
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106445131A (zh) * 2016-09-18 2017-02-22 腾讯科技（深圳）有限公司 虚拟目标操作方法和装置
CN106710003A (zh) * 2017-01-09 2017-05-24 成都品果科技有限公司 一种基于OpenGL ES的三维拍照方法和系统
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN106851421A (zh) * 2016-12-15 2017-06-13 天津知音网络科技有限公司 一种应用于视频ar的显示系统
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
WO2018014601A1 (zh) * 2016-07-19 2018-01-25 央数文化(上海)股份有限公司 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN107749083A (zh) * 2017-09-28 2018-03-02 联想(北京)有限公司 图像展示的方法和装置
WO2018040511A1 (zh) * 2016-06-28 2018-03-08 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN107895397A (zh) * 2016-10-01 2018-04-10 北京餐影传媒科技有限责任公司 一种虚拟显示方法及装置
CN107995481A (zh) * 2017-11-30 2018-05-04 贵州颐爱科技有限公司 一种混合现实的显示方法及装置
CN108280920A (zh) * 2018-02-02 2018-07-13 成都科木信息技术有限公司 基于ar技术的旅游实景显示系统
CN108319875A (zh) * 2017-01-16 2018-07-24 欧姆龙株式会社 传感器支援系统、终端、传感器以及传感器支援方法
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108829250A (zh) * 2018-06-04 2018-11-16 苏州市职业大学 一种基于增强现实ar的对象互动展示方法
CN109040824A (zh) * 2018-08-28 2018-12-18 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和可读存储介质
CN109147001A (zh) * 2017-06-19 2019-01-04 亮风台（上海）信息科技有限公司 一种用于呈现虚拟指甲的方法与设备
CN109427096A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 一种基于增强现实的自动导览方法和系统
CN110321765A (zh) * 2018-03-30 2019-10-11 深圳市掌网科技股份有限公司 一种图像处理方法和系统
CN111013141A (zh) * 2019-11-11 2020-04-17 郑州阿帕斯科技有限公司 一种射击游戏的参数设置方法及装置
CN111626183A (zh) * 2020-05-25 2020-09-04 深圳市商汤科技有限公司 一种目标对象展示方法及装置、电子设备和存储介质
CN112270736A (zh) * 2020-11-16 2021-01-26 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN113195068A (zh) * 2018-12-17 2021-07-30 环球城市电影有限责任公司 用于介导增强的物理交互的系统和方法
CN113467735A (zh) * 2021-06-16 2021-10-01 荣耀终端有限公司 图像调整方法、电子设备及存储介质
CN113570702A (zh) * 2021-07-14 2021-10-29 Oppo广东移动通信有限公司 3d照片的生成方法与装置、终端及可读存储介质
CN113992851A (zh) * 2021-10-22 2022-01-28 北京字跳网络技术有限公司 一种视频生成方法、装置、设备及存储介质
CN115174886A (zh) * 2022-08-25 2022-10-11 吉林大学 支持立体虚拟现实与增强现实的手机镜头及显示方法
WO2024031882A1 (zh) * 2022-08-08 2024-02-15 珠海普罗米修斯视觉技术有限公司 视频处理方法、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110275415A1 (en) * 2010-05-06 2011-11-10 Lg Electronics Inc. Mobile terminal and method for displaying an image in a mobile terminal
CN102395036A (zh) * 2010-06-30 2012-03-28 株式会社泛泰 用于提供3d增强现实图像的设备和方法
CN103677211A (zh) * 2013-12-09 2014-03-26 华为软件技术有限公司 实现增强现实应用的装置及方法
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN103929479A (zh) * 2014-04-10 2014-07-16 惠州Tcl移动通信有限公司 移动终端模拟真实场景实现用户互动的方法及系统
CN104094193A (zh) * 2011-12-27 2014-10-08 英特尔公司 移动设备上的全3d交互

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110275415A1 (en) * 2010-05-06 2011-11-10 Lg Electronics Inc. Mobile terminal and method for displaying an image in a mobile terminal
CN102395036A (zh) * 2010-06-30 2012-03-28 株式会社泛泰 用于提供3d增强现实图像的设备和方法
CN104094193A (zh) * 2011-12-27 2014-10-08 英特尔公司 移动设备上的全3d交互
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN103677211A (zh) * 2013-12-09 2014-03-26 华为软件技术有限公司 实现增强现实应用的装置及方法
CN103929479A (zh) * 2014-04-10 2014-07-16 惠州Tcl移动通信有限公司 移动终端模拟真实场景实现用户互动的方法及系统

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847583A (zh) * 2016-05-10 2016-08-10 北京奇虎科技有限公司 在移动终端上进行图像处理的方法及装置
CN106126067B (zh) * 2016-06-28 2019-09-27 Oppo广东移动通信有限公司 一种触发增强现实功能开启的方法、装置及移动终端
CN105979154A (zh) * 2016-06-28 2016-09-28 广东欧珀移动通信有限公司 一种增强现实ar的拍摄方法、装置及智能终端
CN106126067A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种触发增强现实功能开启的方法、装置及移动终端
CN106126066A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实功能的控制方法、装置及移动终端
WO2018040511A1 (zh) * 2016-06-28 2018-03-08 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
WO2018014601A1 (zh) * 2016-07-19 2018-01-25 央数文化(上海)股份有限公司 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN106056992A (zh) * 2016-07-20 2016-10-26 广东沃赛科技有限公司 Ar增强现实教学系统
CN106295504A (zh) * 2016-07-26 2017-01-04 车广为 人脸识别基础上的增强显示方法
CN106060528A (zh) * 2016-08-05 2016-10-26 福建天泉教育科技有限公司 基于手机端和电子白板的增强现实方法及系统
CN106060528B (zh) * 2016-08-05 2018-08-10 福建天泉教育科技有限公司 基于手机端和电子白板的增强现实方法及系统
CN106128212A (zh) * 2016-08-27 2016-11-16 大连新锐天地传媒有限公司 基于增强现实技术的书法学习系统及方法
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106355153B (zh) * 2016-08-31 2019-10-18 上海星视度科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106445131B (zh) * 2016-09-18 2018-10-02 腾讯科技（深圳）有限公司 虚拟目标操作方法和装置
CN106445131A (zh) * 2016-09-18 2017-02-22 腾讯科技（深圳）有限公司 虚拟目标操作方法和装置
CN107895397A (zh) * 2016-10-01 2018-04-10 北京餐影传媒科技有限责任公司 一种虚拟显示方法及装置
CN106851421A (zh) * 2016-12-15 2017-06-13 天津知音网络科技有限公司 一种应用于视频ar的显示系统
CN106710003A (zh) * 2017-01-09 2017-05-24 成都品果科技有限公司 一种基于OpenGL ES的三维拍照方法和系统
CN108319875A (zh) * 2017-01-16 2018-07-24 欧姆龙株式会社 传感器支援系统、终端、传感器以及传感器支援方法
CN108319875B (zh) * 2017-01-16 2021-07-16 欧姆龙株式会社 传感器支援系统、终端、传感器以及传感器支援方法
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN109147001A (zh) * 2017-06-19 2019-01-04 亮风台（上海）信息科技有限公司 一种用于呈现虚拟指甲的方法与设备
CN109427096A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 一种基于增强现实的自动导览方法和系统
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
CN107749083A (zh) * 2017-09-28 2018-03-02 联想(北京)有限公司 图像展示的方法和装置
CN107995481A (zh) * 2017-11-30 2018-05-04 贵州颐爱科技有限公司 一种混合现实的显示方法及装置
CN107995481B (zh) * 2017-11-30 2019-11-15 贵州颐爱科技有限公司 一种混合现实的显示方法及装置
CN108280920A (zh) * 2018-02-02 2018-07-13 成都科木信息技术有限公司 基于ar技术的旅游实景显示系统
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110321765A (zh) * 2018-03-30 2019-10-11 深圳市掌网科技股份有限公司 一种图像处理方法和系统
CN108829250A (zh) * 2018-06-04 2018-11-16 苏州市职业大学 一种基于增强现实ar的对象互动展示方法
CN109040824A (zh) * 2018-08-28 2018-12-18 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和可读存储介质
CN113195068A (zh) * 2018-12-17 2021-07-30 环球城市电影有限责任公司 用于介导增强的物理交互的系统和方法
CN111013141A (zh) * 2019-11-11 2020-04-17 郑州阿帕斯科技有限公司 一种射击游戏的参数设置方法及装置
CN111626183A (zh) * 2020-05-25 2020-09-04 深圳市商汤科技有限公司 一种目标对象展示方法及装置、电子设备和存储介质
CN112270736A (zh) * 2020-11-16 2021-01-26 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN112270736B (zh) * 2020-11-16 2024-03-01 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN113467735A (zh) * 2021-06-16 2021-10-01 荣耀终端有限公司 图像调整方法、电子设备及存储介质
CN113570702A (zh) * 2021-07-14 2021-10-29 Oppo广东移动通信有限公司 3d照片的生成方法与装置、终端及可读存储介质
CN113992851A (zh) * 2021-10-22 2022-01-28 北京字跳网络技术有限公司 一种视频生成方法、装置、设备及存储介质
WO2024031882A1 (zh) * 2022-08-08 2024-02-15 珠海普罗米修斯视觉技术有限公司 视频处理方法、装置及计算机可读存储介质
CN115174886A (zh) * 2022-08-25 2022-10-11 吉林大学 支持立体虚拟现实与增强现实的手机镜头及显示方法

Similar Documents

Publication Publication Date Title
CN105491365A (zh) 基于移动终端的图像处理方法、装置及系统
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN106383587B (zh) 一种增强现实场景生成方法、装置及设备
CN106355153B (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN110058685B (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
US8681179B2 (en) Method and system for coordinating collisions between augmented reality and real reality
CN110827376A (zh) 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN107622524A (zh) 用于移动终端的显示方法和显示装置
CN111612880B (zh) 基于二维画作的三维模型构建方法、电子设备及存储介质
EP3992919A1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN106325509A (zh) 三维手势识别方法及系统
WO2016114930A2 (en) Systems and methods for augmented reality art creation
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN110914873A (zh) 增强现实方法、装置、混合现实眼镜及存储介质
CN110568934B (zh) 一种低误差高效率的多标记图增强现实系统
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
CN109582122A (zh) 增强现实信息提供方法、装置及电子设备
CN111508033A (zh) 相机参数确定方法、图像处理方法、存储介质及电子装置
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备
CN111815785A (zh) 现实模型的呈现方法、装置、电子设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
CN111080589A (zh) 目标对象匹配方法、系统、设备及机器可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161019

Address after: 330038, room 10, building 19, 1020 Nanchang Avenue, Wangcheng New District, Jiangxi, China

Applicant after: Jiangxi Branch Industrial Co., Ltd.

Address before: 518000, Huaqing Road, No. 38, No. two, 1403, Guangdong, Shenzhen, Luohu District, A

Applicant before: Luo Jun

RJ01 Rejection of invention patent application after publication

Application publication date: 20160413

RJ01 Rejection of invention patent application after publication