CN111309957A - 一种自动生成旅行相册mv的方法 - Google Patents

一种自动生成旅行相册mv的方法 Download PDF

Info

Publication number
CN111309957A
CN111309957A CN202010185085.0A CN202010185085A CN111309957A CN 111309957 A CN111309957 A CN 111309957A CN 202010185085 A CN202010185085 A CN 202010185085A CN 111309957 A CN111309957 A CN 111309957A
Authority
CN
China
Prior art keywords
photos
pictures
sift
data
photo album
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010185085.0A
Other languages
English (en)
Inventor
王洁明
顾湘余
韩晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Quwei Science & Technology Co ltd
Original Assignee
Hangzhou Quwei Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Quwei Science & Technology Co ltd filed Critical Hangzhou Quwei Science & Technology Co ltd
Priority to CN202010185085.0A priority Critical patent/CN111309957A/zh
Publication of CN111309957A publication Critical patent/CN111309957A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种自动生成旅行相册MV的方法。它具体包括如下步骤：自动扫描用户移动设备的照片库，将最近N日的照片按日期分组；单日照片通过SSIM和SIFT技术去除掉高相似度照片，以及曝光过渡、过黑过白的照片；分析剩余精选出的照片中的EXIF数据，提取出其中的GPS、拍摄时间数据，通过GPS数据将坐标所在地一样的照片分到同一组；通过GPS数据和拍摄时间查询到坐标所在地的季节以及天气，最终智能匹配到需要应用的美化方案；将提取出来的照片通过分析出来的场景合成精美的旅行相册MV。本发明的有益效果是：通过每张照片包含的EXIF数据分析智能归类照片，结合EXIF数据选取美化方案对相册MV进行美化，帮助用户快速简单高效的制作旅行相册MV。

Description

一种自动生成旅行相册MV的方法
技术领域
本发明涉及图片处理相关技术领域，尤其是指一种自动生成旅行相册MV的方法。
背景技术
在生活水平和物质水平不断提升的当下，人们的旅游热情不断提升，手中的智能设备的拍照功能也逐渐强大，出去旅行拍摄几张照片，打卡留念成了旅行必备的事情，旅行之后，整理相册并且制作精美的MV的需求变得越来越强烈，可是筛选照片和制作MV，对于普通用户来说难度极大。
现有的自动相册MV制作技术，只能做到去除相似的照片，选择几张不同的照片自动合成，并不能智能的根据旅游地点的场景去归类，更不能根据旅游地点、天气、季节，去智能美化视频的背景、背景音乐、转场等。相册MV也叫图片MV，多张图片组合合成的精美视频。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能够快速简单高效制作的自动生成旅行相册MV的方法。
为了实现上述目的，本发明采用以下技术方案：
一种自动生成旅行相册MV的方法，具体包括如下步骤：
(1)自动扫描用户移动设备的照片库，将最近N日的照片按日期分组；
(2)单日照片通过SSIM和SIFT技术去除掉高相似度照片，以及曝光过渡、过黑过白的照片；
(3)分析剩余精选出的照片中的EXIF数据，提取出其中的GPS、拍摄时间、相机拍摄角度数据，通过GPS数据将坐标所在地一样的照片分到同一组；
(4)通过GPS数据和拍摄时间查询到坐标所在地的季节以及天气，最终根据照片数量、拍摄时间、GPS数据、季节、天气标签智能匹配到服务器预设的主题模板方案；
(5)根据步骤(4)通过服务器获取的主题模板方案，结合提取出来的照片通过分析出来的场景合成精美的旅行相册MV。
本方法通过每张照片包含的EXIF数据分析智能归类照片，结合EXIF数据选取美化方案对相册MV进行美化，帮助用户快速简单高效的制作旅行相册MV。
作为优选，在步骤(2)中，具体操作方法为：
SSIM结构相似性的计算公式如下：
Figure BDA0002413899530000021
其中：传入的x，y分别为两张图片，计算结果返回值范围为(0，1)，当两张图片一模一样时，返回值为1；
SIFT尺寸不变特征变换的计算公式如下：
Figure BDA0002413899530000022
其中：传入的x，y分别为两张图片，先通过检测特征，再通过特征匹配返回结果在(0，1)两张一模一样时，返回值为1；
根据上述两个计算公式的结果进行综合筛选：
SIFT(X,Y)>0.5且SSIM(X,Y)>0.5的图片被认为是相似图片。
作为优选，SIFT尺寸不变特征变换的具体操作方法为：
(a)通过检测特征：尺度空间极值检测、关键点定位、方向确定和关键点描述，找到特征值；
(b)通过特征匹配：(i)SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；(ii)SIFT特征向量的匹配；
(c)最终返回结果在(0，1)两张一模一样时，返回值为1。
作为优选，在步骤(3)中，需要先将角度为90、180、270的三种情况下的图片，旋转成0，也就是正向，再通过GPS数据将坐标所在地一样的照片分到同一组。
作为优选，在步骤(4)中，具体操作方法为：将主题模板打上标签，其中包括适合图片数量、适合季节、适合天气、拍摄时间、GPS数据，之后根据客户端的传入的参数，服务器根据过滤条件以及对于传入参数，计算出每个主体模板的匹配分，分数最高的为最适合的主题模板，返回给客户端。
本发明的有益效果是：通过每张照片包含的EXIF数据分析智能归类照片，结合EXIF数据选取美化方案对相册MV进行美化，帮助用户快速简单高效的制作旅行相册MV。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种自动生成旅行相册MV的方法，具体包括如下步骤：
(1)自动扫描用户移动设备的照片库，将最近N日的照片按日期分组；
(2)单日照片通过SSIM和SIFT技术去除掉高相似度照片，以及曝光过渡、过黑过白的照片；具体操作方法为：
SSIM结构相似性(Structural similarity index)的计算公式如下：
Figure BDA0002413899530000041
其中：传入的x，y分别为两张图片，计算结果返回值范围为(0，1)，当两张图片一模一样时，返回值为1；
SIFT尺寸不变特征变换(Scale-invariant feature transform)的计算公式如下：
Figure BDA0002413899530000042
其中：传入的x，y分别为两张图片，先通过检测特征，再通过特征匹配返回结果在(0，1)两张一模一样时，返回值为1；具体操作方法为：
(a)通过检测特征：尺度空间极值检测、关键点定位、方向确定和关键点描述，找到特征值；
(b)通过特征匹配：(i)SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；(ii)SIFT特征向量的匹配；
(c)最终返回结果在(0，1)两张一模一样时，返回值为1。
根据上述两个计算公式的结果进行综合筛选：
SIFT(X,Y)>0.5且SSIM(X,Y)>0.5的图片被认为是相似图片。
(3)分析剩余精选出的照片中的EXIF数据，提取出其中的GPS、拍摄时间、相机拍摄角度数据，通过GPS数据将坐标所在地一样的照片分到同一组；需要先将角度为90、180、270的三种情况下的图片，旋转成0，也就是正向，再通过GPS数据将坐标所在地一样的照片分到同一组。
(4)通过GPS数据和拍摄时间查询到坐标所在地的季节以及天气，最终根据照片数量、拍摄时间、GPS数据、季节、天气标签智能匹配到服务器预设的主题模板方案(一个主题模板为一整套美化方案：包括自定义的片头、片尾、转场、背景音乐、贴纸、特效效果等，在视频合成中，会自动应用到图片上，达到美化效果)；具体操作方法为：
(41)将主题模板打上标签：其中包括适合图片数量(1-N张)，适合季节(春夏秋冬)，适合天气(晴天，阴天，雨天等)，拍摄时间(白天，黑夜)，GPS数据(特定主题有地域性，比如中国元素主题，日本元素主题等)等；
(42)根据客户端的传入的参数。服务器根据过滤条件以及对于传入参数，计算出每个模板的匹配分，分数最高的为最适合的主题模板，返回给客户端。
(5)根据步骤(4)通过服务器获取的主题模板方案，结合提取出来的照片通过分析出来的场景合成精美的旅行相册MV。
具体实施例：
步骤1)在用户授予相册权限之后，自动扫描用户相册，获取最近7日的照片，将照片分组。
步骤2)通过SSIM、SIFT等已知技术去除掉高相似度照片，以及曝光过渡、过黑过白的照片。
步骤3)通过分析EXIF信息，提取出其中的经纬度，将坐标位置一样的照片分为同一组，取单日经纬度信息相同的数量最多的分组，如下表所示。
Figure BDA0002413899530000061
步骤4)向服务器发送指令，根据用户上报的单日照片分组中的照片数量、拍摄时间、拍摄地点、所属季节、当日天气情况、用户性别等参数，服务器根据多维度的参数决定下发旅行相册MV的最佳模板“主题模板1”，服务器决策过程如下表所示。
Figure BDA0002413899530000062
步骤5)终端设备接收到服务端返回的美化方案，应用并自动合成旅行相册MV。

Claims (5)

1.一种自动生成旅行相册MV的方法，其特征是，具体包括如下步骤：
(1)自动扫描用户移动设备的照片库，将最近N日的照片按日期分组；
(2)单日照片通过SSIM和SIFT技术去除掉高相似度照片，以及曝光过渡、过黑过白的照片；
(3)分析剩余精选出的照片中的EXIF数据，提取出其中的GPS、拍摄时间、相机拍摄角度数据，通过GPS数据将坐标所在地一样的照片分到同一组；
(4)通过GPS数据和拍摄时间查询到坐标所在地的季节以及天气，最终根据照片数量、拍摄时间、GPS数据、季节、天气标签智能匹配到服务器预设的主题模板方案；
(5)根据步骤(4)通过服务器获取的主题模板方案，结合提取出来的照片通过分析出来的场景合成精美的旅行相册MV。
2.根据权利要求1所述的一种自动生成旅行相册MV的方法，其特征是，在步骤(2)中，具体操作方法为：
SSIM结构相似性的计算公式如下：
Figure FDA0002413899520000011
其中：传入的x，y分别为两张图片，计算结果返回值范围为(0，1)，当两张图片一模一样时，返回值为1；
SIFT尺寸不变特征变换的计算公式如下：
Figure FDA0002413899520000012
其中：传入的x，y分别为两张图片，先通过检测特征，再通过特征匹配返回结果在(0，1)两张一模一样时，返回值为1；
根据上述两个计算公式的结果进行综合筛选：
SIFT(X,Y)>0.5且SSIM(X,Y)>0.5的图片被认为是相似图片。
3.根据权利要求2所述的一种自动生成旅行相册MV的方法，其特征是，SIFT尺寸不变特征变换的具体操作方法为：
(a)通过检测特征：尺度空间极值检测、关键点定位、方向确定和关键点描述，找到特征值；
(b)通过特征匹配：(i)SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；(ii)SIFT特征向量的匹配；
(c)最终返回结果在(0，1)两张一模一样时，返回值为1。
4.根据权利要求1所述的一种自动生成旅行相册MV的方法，其特征是，在步骤(3)中，需要先将角度为90、180、270的三种情况下的图片，旋转成0，也就是正向，再通过GPS数据将坐标所在地一样的照片分到同一组。
5.根据权利要求1所述的一种自动生成旅行相册MV的方法，其特征是，在步骤(4)中，具体操作方法为：将主题模板打上标签，其中包括适合图片数量、适合季节、适合天气、拍摄时间、GPS数据，之后根据客户端的传入的参数，服务器根据过滤条件以及对于传入参数，计算出每个主体模板的匹配分，分数最高的为最适合的主题模板，返回给客户端。
CN202010185085.0A 2020-03-17 2020-03-17 一种自动生成旅行相册mv的方法 Pending CN111309957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010185085.0A CN111309957A (zh) 2020-03-17 2020-03-17 一种自动生成旅行相册mv的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010185085.0A CN111309957A (zh) 2020-03-17 2020-03-17 一种自动生成旅行相册mv的方法

Publications (1)

Publication Number Publication Date
CN111309957A true CN111309957A (zh) 2020-06-19

Family

ID=71160636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010185085.0A Pending CN111309957A (zh) 2020-03-17 2020-03-17 一种自动生成旅行相册mv的方法

Country Status (1)

Country Link
CN (1) CN111309957A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500874A (zh) * 2020-10-26 2022-05-13 蘑菇车联信息科技有限公司 一种生成相册的方法及电子设备
CN115150661A (zh) * 2022-06-23 2022-10-04 深圳市大头兄弟科技有限公司 视频关键片段的包装方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488156A (zh) * 2015-11-30 2016-04-13 广州一刻影像科技有限公司 一种自动选择电子相册模板并生成电子相册的方法
CN105989599A (zh) * 2015-02-15 2016-10-05 西安酷派软件科技有限公司 一种图像处理方法、装置和终端
CN106657817A (zh) * 2016-12-28 2017-05-10 杭州趣维科技有限公司 一种应用于手机平台的自动制作相册mv的处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989599A (zh) * 2015-02-15 2016-10-05 西安酷派软件科技有限公司 一种图像处理方法、装置和终端
CN105488156A (zh) * 2015-11-30 2016-04-13 广州一刻影像科技有限公司 一种自动选择电子相册模板并生成电子相册的方法
CN106657817A (zh) * 2016-12-28 2017-05-10 杭州趣维科技有限公司 一种应用于手机平台的自动制作相册mv的处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王佩军, 中国石油大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500874A (zh) * 2020-10-26 2022-05-13 蘑菇车联信息科技有限公司 一种生成相册的方法及电子设备
CN115150661A (zh) * 2022-06-23 2022-10-04 深圳市大头兄弟科技有限公司 视频关键片段的包装方法及相关装置
CN115150661B (zh) * 2022-06-23 2024-04-09 深圳市闪剪智能科技有限公司 视频关键片段的包装方法及相关装置

Similar Documents

Publication Publication Date Title
Raja et al. Color object detection based image retrieval using ROI segmentation with multi-feature method
RU2608261C2 (ru) Автоматическое генерирование тега на основании содержания изображения
JP5837484B2 (ja) 画像情報処理装置
KR101346730B1 (ko) 화상 처리 시스템, 화상 처리 장치 및 방법, 프로그램, 및기록 매체
US8332429B2 (en) Photography assistant and method for assisting a user in photographing landmarks and scenes
US9779287B2 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
US8150098B2 (en) Grouping images by location
US7840898B2 (en) Video booklet
CN101706793B (zh) 搜索图片的方法和装置
US8704913B2 (en) Image recording apparatus, image recording method, and storage medium storing program, for use in recording shot images
US20140363079A1 (en) Method and system to detect and select best photographs
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
US20070216709A1 (en) Display control apparatus, display control method, computer program, and recording medium
JP2012530287A (ja) 代表的な画像を選択するための方法及び装置
JP5018614B2 (ja) 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
CN111309957A (zh) 一种自动生成旅行相册mv的方法
CN102982568A (zh) 一种自动裁剪图像的方法及装置
CN111709303A (zh) 一种人脸图像的识别方法和装置
CN102098449A (zh) 一种利用标志检测进行电视节目内部自动分割的方法
CN103403765B (zh) 内容加工装置及其集成电路、方法
CN105095468A (zh) 一种新型的图像检索方法及系统
CN106657817A (zh) 一种应用于手机平台的自动制作相册mv的处理方法
Jena et al. Content based image retrieval using adaptive semantic signature
Cedillo-Hernandez et al. Mexican archaeological image retrieval based on object matching and a local descriptor
CN110162656B (zh) 一种增强图像特征点信息的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619