CN109361880A - 一种展示静态图片对应的动态图片或视频的方法及系统 - Google Patents

一种展示静态图片对应的动态图片或视频的方法及系统 Download PDF

Info

Publication number
CN109361880A
CN109361880A CN201811450323.5A CN201811450323A CN109361880A CN 109361880 A CN109361880 A CN 109361880A CN 201811450323 A CN201811450323 A CN 201811450323A CN 109361880 A CN109361880 A CN 109361880A
Authority
CN
China
Prior art keywords
static images
characteristic point
static
cloud
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811450323.5A
Other languages
English (en)
Inventor
凌霄
马俊青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201811450323.5A priority Critical patent/CN109361880A/zh
Publication of CN109361880A publication Critical patent/CN109361880A/zh
Priority to US17/288,700 priority patent/US11343591B2/en
Priority to PCT/KR2019/008046 priority patent/WO2020111426A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种展示静态图片对应的动态图片或视频的方法，包括：将静态图片及其对应的动态图片或视频保存在云端；提取云端保存的所述静态图片的特征点，对应所述静态图片保存在所述云端；当设备扫描到第一静态图片时，提取该第一静态图片的特征点，并将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片；将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。应用本申请，能够方便地进行静态图片对应动态图片的展示，提高静态图片的信息量和娱乐性。

Description

一种展示静态图片对应的动态图片或视频的方法及系统
技术领域
本申请涉及计算机视觉领域，特别涉及一种展示静态图片对应的动态图片或视频的方法及系统。
背景技术
现实世界中的图片或者平面海报都是静态的，所能展示的趣味性和信息量不足。而随着科技的进步，越来越多的方式能够获取动态图片或视频，但是动态图片或视频的直接播放往往需要特定的电子载体，相应的成本也会增加很多。
同时，考虑到静态图片的可娱乐性和信息量不足，目前有些相关设备上保存有静态图片相关的动态图片(例如，有些设备在拍照时可以生成对应的动态图片)，但是只能在保存该动态图片的设备上显示，事实上，这部分动态图片并没有被充分使用。另外，还有许多设备并不支持拍照自动生成动态图片，这类设备也就无法展示针对照片的动态图片。
发明内容
本申请提供一种移动设备展示静态图片对应的动态图片的方法，能够方便地进行静态图片对应动态图片的展示，提高静态图片的信息量和娱乐性。
为实现上述目的，本申请采用如下技术方案：
一种展示静态图片对应的动态图片或视频的方法，包括：
将静态图片及其对应的动态图片或视频保存在云端；
提取云端保存的所述静态图片的特征点，对应所述静态图片保存在所述云端；
当设备扫描到第一静态图片时，提取该第一静态图片的特征点，并将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片；
将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。
较佳地，所述静态图片对应的动态图片或视频的生成方式包括：
通过拍摄生成所述静态图片时，自动生成该静态图片对应的动态图片或视频；或者，
接收用户在所述静态图片上设置的锚点，根据锚点将所述静态图片分割为动态部分和静态部分；根据用户输入的箭头长度确定所述动态部分移动的强度，根据用户输入的箭头的方向确定所述动态部分移动的方向；根据确定的所述强度和方向对所述动态部分进行图像变形，保持所述静态部分的图像不变，生成所述静态图片对应的动态图片。
较佳地，对于保存在云端的静态图片，由设备或云端执行所述提取静态图片特征点的处理。
较佳地，所述提取静态图片的特征点包括：将所述静态图片网格化，在每个网格内提取该网格内图像的特征点。
较佳地，在不同网格内，提取特征点的阈值相同或不同。
较佳地，在将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上时，计算所述第一静态图片与所述第二静态图片间的变换矩阵，并根据变换矩阵执行所述渲染操作。
较佳地，所述计算所述第一静态图片与所述第二静态图片间的变换矩阵包括：
利用光流追踪算法计算初始变换矩阵，并根据所述初始变换矩阵确定位于所述第一静态图片上的第一组特征点；
以所述第一组特征点为中心，利用所述第一静态图片，构造一组矩形图像作为待匹配的模板，计算出所述待匹配的模板在所述第一静态图片中的最佳匹配位置作为第二组特征点，计算所述第二组特征点和所述第二静态图片中的一组特征点间的变换矩阵，作为所述变换矩阵。
较佳地，所述将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配包括：
将提取的特征点与云端保存的各静态图片对应的特征点进行比较，获取匹配的特征点对，根据匹配的距离确定各匹配的特征点对的好坏，当好的匹配率达到或超过设置的匹配阈值时，确定匹配成功。
较佳地，该方法进一步包括：根据不同的需求设置不同的匹配阈值，所述将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配时，根据当前需求选择对应的匹配阈值进行是否匹配成功的判定。
较佳地，所述在云端保存的静态图片及其对应的动态图片或视频为：静态图片的URL和动态图片或视频的URL。
较佳地，在云端保存静态图片时，对应保存该静态图片对应的用户信息；
当用户将所述云端上的第三静态图片分享给其他用户时，在云端上对应所述第三静态图片保存所述其他用户的信息。
较佳地，所述提取该第一静态图片的特征点包括：以设定的速度拍摄第一静态图片，针对拍摄的各个照片提取特征点，将每张照片的特征点分别与云端保存的各静态图片对应的特征点进行比较和匹配，直到确定出匹配成功的第二静态图片。
一种展示静态图片对应的动态图片或视频的系统，包括：存储模块、第一特征提取模块、第二特征提取模块、特征匹配模块和渲染模块；
所述存储模块，用于在云端保存所述静态图片及其对应的动态图片或视频以及特征点；
所述第一特征提取模块，用于提取云端保存的所述静态图片的特征点；
所述第二特征提取模块，用于在设备扫描到第一静态图片时，提取该第一静态图片的特征点；
所述特征匹配模块，用于将所述第二特征提取模块提取的特征点与云端保存的同一用户的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片；
所述渲染模块，用于将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。
较佳地，该系统进一步包括追踪模块，用于计算所述第一静态图片与所述第二静态图片间的变换矩阵；
所述渲染模块，进一步用于根据所述变换矩阵，将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。
较佳地，该系统进一步包括编辑模块，用于在所述静态图片上，设置用于分割动态部分和静态部分的锚点；根据用户输入的箭头长度确定所述动态部分移动的强度，根据用户输入的箭头的方向确定所述动态部分移动的方向；根据确定的所述强度和方向对所述动态部分进行图像变形，保持所述静态部分的图像不变，生成所述静态图片对应的动态图片或视频。
较佳地，所述系统进一步包括配置模块，用于根据不同的需求设置不同的匹配阈值；
所述特征匹配模块，还用于在将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配时，根据当前需求选择对应的匹配阈值进行是否匹配成功的判定。
较佳地，所述第一特征提取模块位于云端服务器上或一终端设备上。
由上述技术方案可见，本申请中，将静态图片及其对应的动态图片或视频保存在云端；提取静态图片的特征点，对应静态图片保存在云端。当设备扫描到一张静态图片时，提取该静态图片的特征点，并将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的静态图片，并将匹配成功的静态图片在云端对应保存的动态图片或视频渲染在扫描到的静态图片的位置上。通过上述方式，对于在云端保存有相应动态图片或视频的静态图片，任意可以渲染动态图片或视频的装置都可以在扫描到静态图片时，渲染出相应的动态图片或视频，大大提高了静态图片的信息量和娱乐性。
附图说明
图1为本申请中动态图片或视频展示方法的基本流程示意图；
图2a为原始静态图片；
图2b为生成动态图片的编辑示意图；
图3为特征匹配的示例图；
图4为本申请中动态图片或视频展示系统的基本结构示意图；
图5为场景一中应用本申请方法的示意图；
图6为场景二中应用本申请方法的示意图；
图7为场景三中应用本申请方法的示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
为了达到丰富展示照片的信息量和提高娱乐性的目的，本申请利用增强现实技术，在用户使用具备渲染能力的设备(例如手机、AR眼镜等)对准静态照片时，识别出照片的内容，并将云端保存的同一用户下与静态照片对应的动态图片展示在照片的位置。用户调整移动设备的位姿时，动态图片依然覆盖在静态照片的位置。
为实现上述效果，本申请采用图1所示的动态图片或视频展示方法，如图1所示，该方法包括：
步骤101，将静态图片及其对应的动态图片或视频保存在云端。
其中，本申请并不限定静态图片对应的动态图片或视频的生成方式。例如，可以是在拍摄生成静态图片时自动生成相应的动态图片或视频，或者，也可以是根据静态图片和用户指令的变化方式(即用户手动输入)生成动态图片等。
对于根据用户手动输入生成动态图片的方式，下面给出一种优选实现方案：
如图2a所示为原始静态图片。用户输入锚点，用于区分静态图片中的动态部分和静态部分，例如，图2b中，由很多点构成的曲线将静态图片分成上下两个部分，下面的部分(即地面、墙、教堂、树等)作为静态部分，在动态图片中保持不变；上面的部分(即蓝天和白云)作为动态部分，将在动态图片中实现图像变化。接下来，用户可以通过在静态图片上的动态部分标记箭头的方向和箭头的长度等信息，指示动态部分的变化方向和变化强度；例如，图2b中，通过箭头方向指示动态部分向左移动，通过箭头长度指示动态部分移动的强度。终端设备根据用户输入的锚点将静态图片分成静态部分和动态部分，在动态部分上，根据用户输入的箭头的方向和长度确定动态部分图像变化的方向和强度；进而根据确定的变化方向和强度生成动态图片。具体图像的变形可以使用现有算法，例如image morphing算法等，同时，可以利用线性插值等方法将原始图像变换到变形的图像。
另外，在云端保存静态图片以及动态图片或视频时，优选地，可以保存动态图片或视频的URL以及静态图片的URL。
步骤102，提取云端保存的静态图片的特征点，对应静态图片保存在云端。
本步骤中提取出图片的特征点并计算描述子，特征点包含但不仅限于AKAZE,ORB,KAZE,BRISK等特征点，具体提取特征点的方式可以采用现有方式。优选地，为了可以使得提取出的特征点分布更加均匀，可以先将静态图片网格化，在每个小的网格里对网格内图像提取特征点。在不同网格内进行特征点提取时，由于不同网格内图像特征的不同，可能提取出的特征点个数差别较大；针对这种情况，为了使得小的网格里获得足够的特征点，优选地，可以动态调整提取的阈值，不同网格可以采用相同或不同的阈值，使不同网格内提取出的特征点个数不要相差太大。
另外，本步骤中进行特征点提取的操作可以在终端上进行，或者，也可以在云端进行。如果在终端上进行，那么在提取特征点后需要传输到云端并与静态图片对应保存。
步骤103，当设备扫描到第一静态图片时，提取该第一静态图片的特征点，并将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片。
本步骤进行特征匹配的处理。首先，需要提取第一静态图片的特征点，一般地，可以以设定的速度拍摄第一静态图片，针对拍摄的各个照片提取特征点，将每张照片的特征点分别与云端保存的各静态图片对应的特征点进行比较和匹配，直到确定出匹配成功的第二静态图片。
对于每一张照片提取特征点的方式可以与步骤102相同，这里就不再赘述。具体处理可以在终端设备上进行，也可以在云端进行。具体执行的位置可以与步骤102中不同。
接下来，可以将提取的特征点与云端保存的各静态图片对应的特征点进行比较，获取匹配的特征点对，根据匹配的距离确定各匹配的特征点对的好坏，当好的匹配率达到或超过设置的匹配阈值时，确定匹配成功。其中，具体的匹配方法可以采用各种现有方式，例如FLANN匹配或者BruteForce匹配等。另外，优选地，在云端对应各静态图片保存动态图片以及特征点时，还可以对应保存该静态图片的所属用户，这样可以区分不同用户的图片。如果对应保存用户信息，那么在本步骤中进行特征点比较时，优选地，可以将第一静态图片的特征点与云端保存的同一用户对应的各静态图片的特征点进行比较。其中，用户可以是某个特定用户，或者可以将用户设置为公共或所有用户等，以使相应的静态图片对应的动态图片或视频对所有用户开放比较。同时，当某用户将云端上对应该用户的某静态图片A分享给其他用户时，可以在云端上对应该静态图片A保存其他用户的信息，例如，可以插入一条新的数据，内容为其他人的用户ID，静态图片A的URL，动态图像的URL和特征点。
另外，在进行特征点的比较和匹配时，考虑到不同的需求，优选地，可以根据不同的需求设置不同的匹配阈值，将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配时，根据当前需求选择对应的匹配阈值进行是否匹配成功的判定。
图3为特征匹配的示例图。
步骤104，计算第一静态图片与第二静态图片间的变换矩阵。
本步骤中进行变换矩阵的计算，实际上就是追踪处理，其中，变换矩阵的计算可以采用各种现有方式，例如光流追踪算法或模板匹配算法等。但是现有的追踪算法都有些缺点，例如，光流追踪算法对光线变化比较敏感，即使物体没有运动，在外部光照发生变化时，也能观测到光流；模板匹配算法无法应对旋转以及缩放问题，若待匹配的图像进行了旋转和缩放，则模板匹配算法失效。
基于上述算法存在的问题，优选地，在本申请中提出了一种光流追踪算法和模板匹配算法结合的追踪算法，具体包括：光流追踪算法首先进行追踪，计算出变换矩阵(以下称为初始变换矩阵)，并且利用该初始变换矩阵确定出光流法计算时所用到的位于第一静态图片上的一组特征点A，这些特征点即是光流追踪算法所追踪的特征点；接下来模板匹配算法使用特征点A，利用第一静态图片，构造特征点A为中心，20像素*20像素大小(大小不限于20*20)的一组矩形图像作为待匹配的模板，计算出这些模板在第一静态图片中的最佳匹配位置，即一组点B，对于得到的一组点B和第二静态图片中的一组特征点位置C，计算他们的变换矩阵，即为传给渲染模块所使用的变换矩阵。
本申请中，为了提供鲁棒性更好的追踪效果，将传统的光流追踪算法和模板匹配算法结合起来计算变换矩阵。其中，首先可以使用光流追踪算法使用RANSAC来计算初始变换矩阵(例如单应矩阵)和内点(特征点A)，然后，根据初始变换矩阵和内点，应用模板匹配算法进行校正后得到最终的变换矩阵。通过上述光流追踪算法和模板匹配算法相结合，能够提高追踪的精度和鲁棒性。
步骤105，根据变换矩阵，将第二静态图片在云端对应保存的动态图片或视频渲染在第一静态图片的位置上。
本步骤中，可以根据步骤104计算得到的变换矩阵以及第一静态图片的当前最新位置，将第二静态图片在云端对应保存的动态图片或视频渲染在第一静态图片的位置上。其中，具体渲染的方法采用现有方式，这里就不再赘述。
另外，将第二静态图片对应的动态图片或视频渲染在第一静态图片的位置上也不一定基于变换矩阵进行，只要能够实现渲染处理即可。上述计算变换矩阵再根据变换矩阵进行渲染的处理是目前比较常用的方式，本申请不限于此。也就是说，图1中步骤104不是必须的，只要能够实现步骤105中的渲染处理即可。
至此，本申请中的方法流程结束。
本申请中还提供了一种展示静态图片对应的动态图片或视频的系统，可以用于实施上述方法。其中，图4为本申请中系统的基本结构示意图。如图4所示，该系统包括：存储模块、第一特征提取模块、第二特征提取模块、特征匹配模块、追踪模块和渲染模块。
其中，存储模块，用于在云端保存所述静态图片及其对应的动态图片或视频以及特征点。第一特征提取模块，用于提取云端保存的静态图片的特征点。第二特征提取模块，用于在设备扫描到第一静态图片时，提取该第一静态图片的特征点。特征匹配模块，用于将第二特征提取模块提取的特征点与云端保存的同一用户的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片。追踪模块，用于计算第一静态图片与第二静态图片间的变换矩阵。渲染模块，用于将第二静态图片在云端对应保存的动态图片或视频渲染在第一静态图片的位置上。
如步骤105所述，目前常用的渲染处理是基于变换矩阵进行，也就是在系统中通过追踪模块实现。事实上，本申请不限于此，只要能够在渲染模块实现渲染操作即可，不一定包括追踪模块。
该系统进一步还可以包括编辑模块，用于生成静态图片对应的动态图片。具体地，可以在静态图片上，设置用于分割动态部分和静态部分的锚点；根据用户输入的箭头长度确定所述动态部分移动的强度，根据用户输入的箭头的方向确定所述动态部分移动的方向；根据确定的强度和方向对动态部分进行图像变形，保持静态部分的图像不变，生成静态图片对应的动态图片或视频。
为实现根据不同的需求，动态变化特征匹配标准，优选地，系统可以进一步包括配置模块，用于根据不同的需求设置不同的匹配阈值。特征匹配模块，还用于在将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配时，根据当前需求选择对应的匹配阈值进行是否匹配成功的判定。
在上述系统中，部分模块位于终端设备中，部分模块位于云端服务器上。其中，存储模块和特征匹配模块位于云端服务器上，追踪模块、渲染模块、配置模块和编辑模块都位于终端设备上。第一特征提取模块和第二特征提取模块可以位于终端设备上，也可以位于云端服务器上，而且第一特征提取模块和第二特征提取模块可以位于不同的实体上。
下面通过三个场景说明本申请方法和系统的应用。
场景一：
1、用户1使用支持自动生成动态图像的移动设备拍摄照片，从而生成静态图片(即照片A)和其对应的动态图片；用户1上传静态图像和动态图像到云端；
2、用户1分享照片A给用户2；
3、用户2使用不支持自动生成动态图像的移动设备对着静态照片A，移动设备端进行特征提取，提取到的特征点上传到云端；
4、当匹配成功时，用户2下载与该静态图像相关的动态图像到移动设备；
5、用户2的移动设备追踪该静态图像并将下载的动态图片渲染在静态图像的位置，见图5。
场景二：
1、用户1手动编辑静态图片A来生成对应的动态图片；
2、用户1上传静态图片A和动态图像到云端；
3、用户1分享静态图片A给用户2；
4、用户2使用不支持自动生成动态图像的移动设备对着静态图片A，移动设备端进行特征提取，提取到的特征点上传到云端；
5、当匹配成功时，用户2下载与该静态图像相关的动态图像到移动设备；
6、用户2的移动设备追踪该静态图像并将下载的动态图片渲染在静态图像的位置，见图6。
场景三：
1、用户1使用移动设备对准家里的相框；
2、用户1上传当前每一帧图像到云端，云端进行特征提取，特征匹配模块会将提取到的特征点和该用户目录下的所有特征点进行匹配；
3、特征匹配成功时，相框中的静态图像相关的动态图像被下载到用户1的移动设备上；
4、用户1的移动设备会追踪当前相框中的静态图像并将相关的动态图像渲染到静态图像的位置，见图7。
上述即为本申请中方法和系统的具体实现，应用本申请，能够丰富静态图片内容的方法，提高静态图片的信息量和娱乐性。进一步地，该方法还提供了更加均匀的特征点提取，鲁棒性更强的追踪算法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (17)

1.一种展示静态图片对应的动态图片或视频的方法，其特征在于，包括：
将静态图片及其对应的动态图片或视频保存在云端；
提取云端保存的所述静态图片的特征点，对应所述静态图片保存在所述云端；
当设备扫描到第一静态图片时，提取该第一静态图片的特征点，并将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片；
将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。
2.根据权利要求1所述的方法，其特征在于，所述静态图片对应的动态图片或视频的生成方式包括：
通过拍摄生成所述静态图片时，自动生成该静态图片对应的动态图片或视频；或者，
接收用户在所述静态图片上设置的锚点，根据锚点将所述静态图片分割为动态部分和静态部分；根据用户输入的箭头长度确定所述动态部分移动的强度，根据用户输入的箭头的方向确定所述动态部分移动的方向；根据确定的所述强度和方向对所述动态部分进行图像变形，保持所述静态部分的图像不变，生成所述静态图片对应的动态图片。
3.根据权利要求1所述的方法，其特征在于，对于保存在云端的静态图片，由设备或云端执行所述提取静态图片特征点的处理。
4.根据权利要求1或3所述的方法，其特征在于，所述提取静态图片的特征点包括：将所述静态图片网格化，在每个网格内提取该网格内图像的特征点。
5.根据权利要求4所述的方法，其特征在于，在不同网格内，提取特征点的阈值相同或不同。
6.根据权利要求1所述的方法，其特征在于，在将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上时，计算所述第一静态图片与所述第二静态图片间的变换矩阵，并根据变换矩阵执行所述渲染操作。
7.根据权利要求6所述的方法，其特征在于，所述计算所述第一静态图片与所述第二静态图片间的变换矩阵包括：
利用光流追踪算法计算初始变换矩阵，并根据所述初始变换矩阵确定位于所述第一静态图片上的第一组特征点；
以所述第一组特征点为中心，利用所述第一静态图片，构造一组矩形图像作为待匹配的模板，计算出所述待匹配的模板在所述第一静态图片中的最佳匹配位置作为第二组特征点，计算所述第二组特征点和所述第二静态图片中的一组特征点间的变换矩阵，作为所述变换矩阵。
8.根据权利要求1所述的方法，其特征在于，所述将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配包括：
将提取的特征点与云端保存的各静态图片对应的特征点进行比较，获取匹配的特征点对，根据匹配的距离确定各匹配的特征点对的好坏，当好的匹配率达到或超过设置的匹配阈值时，确定匹配成功。
9.根据权利要求1或8所述的方法，其特征在于，该方法进一步包括：根据不同的需求设置不同的匹配阈值，所述将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配时，根据当前需求选择对应的匹配阈值进行是否匹配成功的判定。
10.根据权利要求1所述的方法，其特征在于，所述在云端保存的静态图片及其对应的动态图片或视频为：静态图片的URL和动态图片或视频的URL。
11.根据权利要求1所述的方法，其特征在于，在云端保存静态图片时，对应保存该静态图片对应的用户信息；
当用户将所述云端上的第三静态图片分享给其他用户时，在云端上对应所述第三静态图片保存所述其他用户的信息。
12.根据权利要求1所述的方法，其特征在于，所述提取该第一静态图片的特征点包括：以设定的速度拍摄第一静态图片，针对拍摄的各个照片提取特征点，将每张照片的特征点分别与云端保存的各静态图片对应的特征点进行比较和匹配，直到确定出匹配成功的第二静态图片。
13.一种展示静态图片对应的动态图片或视频的系统，其特征在于，该系统包括：存储模块、第一特征提取模块、第二特征提取模块、特征匹配模块、追踪模块和渲染模块；
所述存储模块，用于在云端保存所述静态图片及其对应的动态图片或视频以及特征点；
所述第一特征提取模块，用于提取云端保存的所述静态图片的特征点；
所述第二特征提取模块，用于在设备扫描到第一静态图片时，提取该第一静态图片的特征点；
所述特征匹配模块，用于将所述第二特征提取模块提取的特征点与云端保存的同一用户的各静态图片对应的特征点进行比较和匹配，确定出匹配成功的第二静态图片；
所述渲染模块，用于将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。
14.根据权利要求13所述的系统，其特征在于，该系统进一步包括追踪模块，用于计算所述第一静态图片与所述第二静态图片间的变换矩阵；
所述渲染模块，进一步用于根据所述变换矩阵，将所述第二静态图片在所述云端对应保存的动态图片或视频渲染在所述第一静态图片的位置上。
15.根据权利要求13所述的系统，其特征在于，该系统进一步包括编辑模块，用于在所述静态图片上，设置用于分割动态部分和静态部分的锚点；根据用户输入的箭头长度确定所述动态部分移动的强度，根据用户输入的箭头的方向确定所述动态部分移动的方向；根据确定的所述强度和方向对所述动态部分进行图像变形，保持所述静态部分的图像不变，生成所述静态图片对应的动态图片或视频。
16.根据权利要求13所述的系统，其特征在于，所述系统进一步包括配置模块，用于根据不同的需求设置不同的匹配阈值；
所述特征匹配模块，还用于在将提取的特征点与云端保存的各静态图片对应的特征点进行比较和匹配时，根据当前需求选择对应的匹配阈值进行是否匹配成功的判定。
17.根据权利要求13所述的系统，其特征在于，所述第一特征提取模块位于云端服务器上或一终端设备上。
CN201811450323.5A 2018-11-30 2018-11-30 一种展示静态图片对应的动态图片或视频的方法及系统 Pending CN109361880A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811450323.5A CN109361880A (zh) 2018-11-30 2018-11-30 一种展示静态图片对应的动态图片或视频的方法及系统
US17/288,700 US11343591B2 (en) 2018-11-30 2019-07-02 Method and system of presenting moving images or videos corresponding to still images
PCT/KR2019/008046 WO2020111426A1 (en) 2018-11-30 2019-07-02 Method and system of presenting moving images or videos corresponding to still images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811450323.5A CN109361880A (zh) 2018-11-30 2018-11-30 一种展示静态图片对应的动态图片或视频的方法及系统

Publications (1)

Publication Number Publication Date
CN109361880A true CN109361880A (zh) 2019-02-19

Family

ID=65330204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811450323.5A Pending CN109361880A (zh) 2018-11-30 2018-11-30 一种展示静态图片对应的动态图片或视频的方法及系统

Country Status (3)

Country Link
US (1) US11343591B2 (zh)
CN (1) CN109361880A (zh)
WO (1) WO2020111426A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248116A (zh) * 2019-06-10 2019-09-17 腾讯科技（深圳）有限公司 图片处理方法、装置、计算机设备及存储介质
CN110880139A (zh) * 2019-09-30 2020-03-13 珠海随变科技有限公司 一种商品展示方法、装置、终端、服务器及存储介质
CN112019769A (zh) * 2020-07-29 2020-12-01 上海推乐信息技术服务有限公司 一种动态化的图片创建方法及系统
WO2021047474A1 (zh) * 2019-09-09 2021-03-18 京东方科技集团股份有限公司 图像的动态处理方法、设备及计算机可读存储介质
CN112699263A (zh) * 2021-01-08 2021-04-23 郑州科技学院 基于ai的二维美术图像动态展示方法及装置
CN113873099A (zh) * 2021-08-27 2021-12-31 山东信通电子股份有限公司 一种输电通道视频稳像方法、设备及介质
CN114584704A (zh) * 2022-02-08 2022-06-03 维沃移动通信有限公司 拍摄方法、装置和电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361880A (zh) 2018-11-30 2019-02-19 三星电子（中国）研发中心 一种展示静态图片对应的动态图片或视频的方法及系统
US11636682B2 (en) 2020-11-05 2023-04-25 International Business Machines Corporation Embedding contextual information in an image to assist understanding
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955499A (zh) * 2014-04-22 2014-07-30 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
CN104077596A (zh) * 2014-06-18 2014-10-01 河海大学 一种无标志物跟踪注册方法
CN104574484A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 一种基于交互操作产生图片动态效果的方法和装置
CN104574473A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 一种基于静态图片生成动态效果的方法和装置
CN106664465A (zh) * 2014-07-09 2017-05-10 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
CN107590453A (zh) * 2017-09-04 2018-01-16 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130085935A1 (en) * 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
KR101189609B1 (ko) 2011-03-03 2012-10-10 (주)엔써즈 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
KR101901910B1 (ko) 2011-12-23 2018-09-27 삼성전자주식회사 선택 영역을 변화시키는 결과 영상을 생성 또는 저장하는 장치 및 방법
US9501856B2 (en) * 2012-02-13 2016-11-22 Nokia Technologies Oy Method and apparatus for generating panoramic maps with elements of subtle movement
US9547222B2 (en) 2013-02-08 2017-01-17 University Of South Australia Method and apparatus for calibration of multiple projector systems
US9055169B2 (en) 2013-03-29 2015-06-09 Hewlett-Packard Development Company, L.P. Printing frames of a video
US9324014B1 (en) 2014-09-03 2016-04-26 MixxMedia, LLC Automated user content processing for augmented reality
JP6592905B2 (ja) 2015-01-28 2019-10-23 大日本印刷株式会社 サーバ装置、動画データ配信方法、及びプログラム
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
CN105405168A (zh) 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置
KR101754993B1 (ko) 2015-11-19 2017-07-06 주식회사마이크로컴퓨팅 증강 현실을 이용한 포토존 촬영 장치
US9940975B2 (en) 2016-09-13 2018-04-10 Shutterfly, Inc. System and method for automatically displaying variable image content in an image product
KR101794642B1 (ko) 2016-09-13 2017-12-01 네오컨버전스 주식회사 영상을 인식하여 증강현실을 제공하는 방법 및 장치
US10664645B2 (en) * 2016-10-07 2020-05-26 Alltherooms System and method for transposing web content
CN106598238B (zh) 2016-12-03 2019-05-24 赵良华 基于增强现实展示照片书的实现方法及显示系统
CN107221346B (zh) 2017-05-25 2019-09-03 亮风台（上海）信息科技有限公司 一种用于确定ar视频的识别图片的方法与设备
CN107980140B (zh) 2017-10-16 2021-09-14 厦门熵基科技有限公司 一种掌静脉的识别方法及装置
JP7031228B2 (ja) * 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
CN109361880A (zh) 2018-11-30 2019-02-19 三星电子（中国）研发中心 一种展示静态图片对应的动态图片或视频的方法及系统
JP2020136697A (ja) * 2019-02-12 2020-08-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955499A (zh) * 2014-04-22 2014-07-30 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
CN104077596A (zh) * 2014-06-18 2014-10-01 河海大学 一种无标志物跟踪注册方法
CN106664465A (zh) * 2014-07-09 2017-05-10 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
CN104574484A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 一种基于交互操作产生图片动态效果的方法和装置
CN104574473A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 一种基于静态图片生成动态效果的方法和装置
CN107590453A (zh) * 2017-09-04 2018-01-16 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248116A (zh) * 2019-06-10 2019-09-17 腾讯科技（深圳）有限公司 图片处理方法、装置、计算机设备及存储介质
CN110248116B (zh) * 2019-06-10 2021-10-26 腾讯科技（深圳）有限公司 图片处理方法、装置、计算机设备及存储介质
WO2021047474A1 (zh) * 2019-09-09 2021-03-18 京东方科技集团股份有限公司 图像的动态处理方法、设备及计算机可读存储介质
CN110880139A (zh) * 2019-09-30 2020-03-13 珠海随变科技有限公司 一种商品展示方法、装置、终端、服务器及存储介质
CN112019769A (zh) * 2020-07-29 2020-12-01 上海推乐信息技术服务有限公司 一种动态化的图片创建方法及系统
CN112699263A (zh) * 2021-01-08 2021-04-23 郑州科技学院 基于ai的二维美术图像动态展示方法及装置
CN112699263B (zh) * 2021-01-08 2023-05-23 郑州科技学院 基于ai的二维美术图像动态展示方法及装置
CN113873099A (zh) * 2021-08-27 2021-12-31 山东信通电子股份有限公司 一种输电通道视频稳像方法、设备及介质
CN113873099B (zh) * 2021-08-27 2024-04-12 山东信通电子股份有限公司 一种输电通道视频稳像方法、设备及介质
CN114584704A (zh) * 2022-02-08 2022-06-03 维沃移动通信有限公司 拍摄方法、装置和电子设备

Also Published As

Publication number Publication date
WO2020111426A1 (en) 2020-06-04
US20210400359A1 (en) 2021-12-23
US11343591B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
CN109361880A (zh) 一种展示静态图片对应的动态图片或视频的方法及系统
US11270419B2 (en) Augmented reality scenario generation method, apparatus, system, and device
US20180276882A1 (en) Systems and methods for augmented reality art creation
JP6894962B2 (ja) 自由視点映像用画像データのキャプチャ方法及び装置、プログラム
CN106664376B (zh) 增强现实设备和方法
CN105210368B (zh) 背景差分提取装置以及背景差分提取方法
US9836831B1 (en) Simulating long-exposure images
CN112037320A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN108109161B (zh) 基于自适应阈值分割的视频数据实时处理方法及装置
CN114730483A (zh) 在消息传送系统中生成3d数据
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
CN107835397B (zh) 一种多镜头视频同步的方法
WO2018176929A1 (zh) 一种图像背景虚化方法及装置
TW201924317A (zh) 基於增強實境的視頻處理方法、裝置及電子設備
CN111710049A (zh) Ar场景中的环境光照确定方法和装置
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN109360222A (zh) 图像分割方法、装置及存储介质
CN108537868A (zh) 信息处理设备和信息处理方法
CN110060354B (zh) 真实图像在虚拟空间中的定位和交互方法
CN110266955A (zh) 图像处理方法、装置、电子设备以及存储介质
CN114694136A (zh) 一种物品展示方法、装置、设备及介质
CN110309721A (zh) 视频处理方法、终端和存储介质
CN111968191A (zh) 使用梳状神经网络架构的自动图像合成
CN112288878A (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN108055423B (zh) 一种多镜头视频同步偏移量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219