CN111464743A - 一种摄影构图匹配方法及系统 - Google Patents

一种摄影构图匹配方法及系统 Download PDF

Info

Publication number
CN111464743A
CN111464743A CN202010275026.2A CN202010275026A CN111464743A CN 111464743 A CN111464743 A CN 111464743A CN 202010275026 A CN202010275026 A CN 202010275026A CN 111464743 A CN111464743 A CN 111464743A
Authority
CN
China
Prior art keywords
label information
target image
unit
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010275026.2A
Other languages
English (en)
Inventor
姜男
熊鑫
刘浏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chengshi Information Technology Co ltd
Original Assignee
Shanghai Chengshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chengshi Information Technology Co ltd filed Critical Shanghai Chengshi Information Technology Co ltd
Priority to CN202010275026.2A priority Critical patent/CN111464743A/zh
Publication of CN111464743A publication Critical patent/CN111464743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种摄影构图匹配方法及系统，主要涉及计算机信息技术领域。包括收集图片，并对图片进行数据处理，所述数据处理为对人工对图片标记第一标签信息和第二标签信息，所述第一标签信息为构图线，所述第二标签信息为拍摄建议，获得样本数据；将样本数据导入DensentNet卷积神经网络结构进行训练，获得构图模型；获取目标影像，所述目标影像是拍摄的照片；使用构图模型对目标影像进行识别，匹配对应的第一标签信息和第二标签信息。本发明的有益效果在于：基于卷积神经的深入学习，能够给人提供对应的拍摄建议。

Description

一种摄影构图匹配方法及系统
技术领域
本发明涉及计算机信息技术领域，具体是一种摄影构图匹配方法及系统。
背景技术
图像识别、物体检测是计算机视觉领域的重要研究问题，在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用前景。图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。物体检测是指对于任意一帧或连续帧图像，检测和识别其中特定的目标，并返回目标的位置、大小信息，例如输出包围目标的边界框。近年来随着随着智能手机的的不断发展和进步，手机自带的相机的功能也逐步增多。但是对于图片分析上的操作比较少，无法更好的指导人来拍出更好的图片，拍照前指导目前的难度：1.主要是专业性较强，没有相关专业知识的人很难对照片有一些抽象的理解。2.需要巨大的相关的数据集进行训练。
发明内容
本发明的目的在于提供一种摄影构图匹配方法及系统，它基于卷积神经的深入学习，能够给人提供对应的拍摄建议。
本发明为实现上述目的，通过以下技术方案实现：
一种摄影构图匹配方法，包括
收集图片，并对图片进行数据处理，所述数据处理为对人工对图片标记第一标签信息和第二标签信息，所述第一标签信息为构图线，所述第二标签信息为拍摄建议，获得样本数据；
将样本数据导入DensentNet卷积神经网络结构进行训练，获得构图模型；
获取目标影像，所述目标影像是拍摄的照片；
使用构图模型对目标影像进行识别，匹配对应的第一标签信息和第二标签信息。
所述导入DensentNet卷积神经网络结构进行训练，包括利用高性能处理单元使用改善过后的vgg在PyTorch框架下训练。在模型训练完成之后，将其使用模型服务技术布局在阿里服务器上进行流水运算。
所述第二标签信息为通过语言描述记载的信息。
一种摄影构图匹配系统，包括服务端和客户端，
所述服务端包括：
导入单元，配置用于导入样本数据，所述样本数据为通过对原始图片进行数据处理而获得，所述数据处理包括人工对图片标记第一标签信息和第二标签信息，所述第一标签信息为构图线，所述第二标签信息为拍摄建议；
训练单元，配置用于将样本数据进行训练，获得构图模型；
识别单元，配置用于使用构图模型对目标影像进行识别，匹配对应的第一标签信息和第二标签信息；
第一通讯单元，配置接收客户端发来的目标影像，并将匹配的第一标签信息和第二标签信息反馈至客户端；
所述客户端配置于移动讯通上的APP，包括：
获取单元，获取目标影像，所述目标影像是APP所在的语音通讯装置拍摄的照片；
第二通讯单元，配置用于向客户端发送目标影像，并接收客户端发来的与目标影像匹配的第一标签信息和第二标签信息。
对比现有技术，本发明的有益效果在于：
1.本发明是业界首次将深度学习框架应用在识别结构线并且分类上，通过对网络进行改善后分为多种结构线类型，准确率高达在90％
2.本发明将用在摄影行业，对其拍摄进行智能指导的作用。
附图说明
附图1是本发明的实施例1的步骤一示意图。
附图2是本发明的实施例1的步骤二示意图。
附图3是本发明的实施例1的步骤三示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
实施例1：一种摄影构图匹配方法及系统
首先，在没有用卷进神经网络之前，图像处理一直用opencv等处理，由于计算量较大实现起来比较困难。对于拍照前的指导需要比较专业的知识理论来支撑。
根据以上的原因，我们将图片识别稍加修改，采用识别图片结构线及其他相关等特征后，按照摄影相关细节进行推荐，使人们能进行改进，从而排出更好的照片。该方法专利的流程可以分为三个步骤，首先手机带有标签信息的数据，进一步，我们把这些图片作为标定数据采用我DensentNet卷积神经网络结构进行训练，训练好的神经网络可以对任意尺度的照片进行结构的识别，最后我们根据这个推荐网络，开发了一款app来实现和用户的交互。
三个步骤详细内容如下：
步骤一：我们需要通过专业人士来标定大量的照片，我们需要把图片进行填充，最终实现了多种建议的推荐，每个类型结构线包含了1万至10万张带有标签的照片。数据处理如图一所示：
步骤二：将网络进行修改，利用处理完毕的数据集进行训练。
经过处理后，图片数据可以直接进入卷积神经网络进行训练。在神经网络选择方面，我们使用了当下比较前沿的DenseNet。DenseNet是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。该网络比传统的卷积网络有更少的参数，因为它不需要再重新学习多余的特征图。并且改善了网络中信息和梯度的传递，这就让网络更容易训练。首先将整个数据分割成70％数据作为训练集，30％作为测试数据集。利用高性能处理单元(GPU)使用改善过后的vgg在PyTorch框架下训练。在模型训练完成之后，将其使用模型服务技术布局在阿里服务器上进行流水运算，每张用户手绘的计算时间在0.7秒左右。然后将结果与定义的结构线进行匹配然后给出相关拍摄的建议。
步骤三：在app上实现交互功能
当训练好的模型可以对用户照片进行识别结构线后，我们开发了一个功能模块识别图片结构线并且做出推荐。首先用户在手机上进行拍摄，点击图片上传。其次，上传之后的图片经过若干步骤的处理之后输入识别模型，将结构线画出并返回相似度最高的一个结构线进行推荐。首先加载图片，然后上传图片，最后得到结果。

Claims (4)

1.一种摄影构图匹配方法，其特征在于，包括
收集图片，并对图片进行数据处理，所述数据处理为对人工对图片标记第一标签信息和第二标签信息，所述第一标签信息为构图线，所述第二标签信息为拍摄建议，获得样本数据；
将样本数据导入DensentNet卷积神经网络结构进行训练，获得构图模型；
获取目标影像，所述目标影像是拍摄的照片；
使用构图模型对目标影像进行识别，匹配对应的第一标签信息和第二标签信息。
2.根据权利要求1所述一种摄影构图匹配方法，其特征在于，所述导入DensentNet卷积神经网络结构进行训练，包括利用高性能处理单元使用改善过后的vgg在PyTorch框架下训练。在模型训练完成之后，将其使用模型服务技术布局在阿里服务器上进行流水运算。
3.根据权利要求1所述一种摄影构图匹配方法，其特征在于，所述第二标签信息为通过语言描述记载的信息。
4.一种摄影构图匹配系统，其特征在于，包括服务端和客户端，
所述服务端包括：
导入单元，配置用于导入样本数据，所述样本数据为通过对原始图片进行数据处理而获得，所述数据处理包括人工对图片标记第一标签信息和第二标签信息，所述第一标签信息为构图线，所述第二标签信息为拍摄建议；
训练单元，配置用于将样本数据进行训练，获得构图模型；
识别单元，配置用于使用构图模型对目标影像进行识别，匹配对应的第一标签信息和第二标签信息；
第一通讯单元，配置接收客户端发来的目标影像，并将匹配的第一标签信息和第二标签信息反馈至客户端；
所述客户端配置于移动讯通上的APP，包括：
获取单元，获取目标影像，所述目标影像是APP所在的语音通讯装置拍摄的照片；
第二通讯单元，配置用于向客户端发送目标影像，并接收客户端发来的与目标影像匹配的第一标签信息和第二标签信息。
CN202010275026.2A 2020-04-09 2020-04-09 一种摄影构图匹配方法及系统 Pending CN111464743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010275026.2A CN111464743A (zh) 2020-04-09 2020-04-09 一种摄影构图匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010275026.2A CN111464743A (zh) 2020-04-09 2020-04-09 一种摄影构图匹配方法及系统

Publications (1)

Publication Number Publication Date
CN111464743A true CN111464743A (zh) 2020-07-28

Family

ID=71680623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010275026.2A Pending CN111464743A (zh) 2020-04-09 2020-04-09 一种摄影构图匹配方法及系统

Country Status (1)

Country Link
CN (1) CN111464743A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580521A (zh) * 2022-02-28 2022-06-03 中国科学院软件研究所 一种知识与数据共同驱动的人像构图指引方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821350B2 (ja) * 2006-02-08 2011-11-24 カシオ計算機株式会社 カメラ装置及びカメラ制御プログラム
CN103369220A (zh) * 2012-04-02 2013-10-23 索尼公司 成像设备、成像设备的控制方法以及计算机程序
CN104243801A (zh) * 2013-06-17 2014-12-24 索尼公司 显示控制装置、显示控制方法、程序和成像设备
CN109040605A (zh) * 2018-11-05 2018-12-18 北京达佳互联信息技术有限公司 拍摄引导方法、装置及移动终端和存储介质
CN110192386A (zh) * 2017-01-31 2019-08-30 株式会社Ntt都科摩 信息处理设备和信息处理方法
CN110476405A (zh) * 2017-12-01 2019-11-19 三星电子株式会社 用于提供与拍摄有关的推荐信息的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821350B2 (ja) * 2006-02-08 2011-11-24 カシオ計算機株式会社 カメラ装置及びカメラ制御プログラム
CN103369220A (zh) * 2012-04-02 2013-10-23 索尼公司 成像设备、成像设备的控制方法以及计算机程序
CN104243801A (zh) * 2013-06-17 2014-12-24 索尼公司 显示控制装置、显示控制方法、程序和成像设备
CN110192386A (zh) * 2017-01-31 2019-08-30 株式会社Ntt都科摩 信息处理设备和信息处理方法
CN110476405A (zh) * 2017-12-01 2019-11-19 三星电子株式会社 用于提供与拍摄有关的推荐信息的方法和系统
CN109040605A (zh) * 2018-11-05 2018-12-18 北京达佳互联信息技术有限公司 拍摄引导方法、装置及移动终端和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580521A (zh) * 2022-02-28 2022-06-03 中国科学院软件研究所 一种知识与数据共同驱动的人像构图指引方法及装置

Similar Documents

Publication Publication Date Title
CN109993160B (zh) 一种图像矫正及文本与位置识别方法及系统
US11270099B2 (en) Method and apparatus for generating facial feature
CN110659646A (zh) 一种多任务证件图像自动处理方法、装置、设备及可读存储介质
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN112287820A (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN111444908A (zh) 图像识别方法、装置、终端和存储介质
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN111489401B (zh) 一种图像颜色恒常性处理方法、系统、设备和存储介质
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN112257709A (zh) 一种招牌照片审核方法、装置、电子设备及可读存储介质
CN112417947A (zh) 关键点检测模型的优化及面部关键点的检测方法及装置
CN113255501B (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
KR20210008075A (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN111464743A (zh) 一种摄影构图匹配方法及系统
WO2022062027A1 (zh) 酒品定位方法、酒品信息管理方法、装置、设备及存储介质
CN112560902A (zh) 基于书脊视觉信息的图书识别方法及系统
CN111461248A (zh) 一种摄影构图线匹配方法、装置、设备及存储介质
US10991085B2 (en) Classifying panoramic images
CN115937945A (zh) 基于视觉Transformer和卷积网络相融合的人脸表情识别方法
CN116612398A (zh) 基于ctpn算法的无人机巡检照片杆塔号牌文字识别方法
CN113824874A (zh) 辅助摄像方法、装置、电子设备及存储介质
CN113705157A (zh) 一种纸质作业拍照批改的方法
CN113435441A (zh) 基于Bi-LSTM机制的四则运算算式图像智能批改方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication