CN107705259A - 一种在移动终端预览、拍摄模式下的数据增强方法及装置 - Google Patents
一种在移动终端预览、拍摄模式下的数据增强方法及装置 Download PDFInfo
- Publication number
- CN107705259A CN107705259A CN201710871235.1A CN201710871235A CN107705259A CN 107705259 A CN107705259 A CN 107705259A CN 201710871235 A CN201710871235 A CN 201710871235A CN 107705259 A CN107705259 A CN 107705259A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- data
- module
- real scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 61
- 238000013135 deep learning Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 24
- 238000005352 clarification Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000011946 reduction process Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种在移动终端预览、拍摄模式下的数据增强方法及装置，属于数字图像处理技术领域，包括：S1、离线建立数据库；S2、对输入的真实场景图像进行在线增强数据图像。在线提取每个显著性物体的特征与目标特征数据库中目标特征进行比对；根据比对结果，在目标图像数据库中检索出至少一张目标图像的原始数据以及从目标信息数据库中提取与至少一张目标图像对应的目标标注信息；将检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并显示叠加后的融合图像。
Description
技术领域
本发明涉及数字图像处理及增强现实技术领域，特别涉及一种在移动终端预览、拍摄模式下的数据增强方法及装置。
背景技术
增强现实（Augmented Reality，简称AR）是将真实世界信息与虚拟世界信息集成，实时地叠加到同一个画面或空间同时存在，是对虚拟现实（Virtual Reality，简称VR）技术的改进。
目前的增强现实过程存在的缺陷在于：一是，一般需要在真实世界图像中做标记，对目标本身进行修改。二是，现有的增强现实过程的检测精度与搜索精度不高，增强现实效果不好。
发明内容
本发明的目的在于提供一种在移动终端预览、拍摄模式下的数据增强方法及装置，可以不需要在场景目标中加入标记的情况下，提高数据增强的效果。
为实现以上目的，第一方面，本发明提供一种在移动终端预览、拍摄模式下的数据增强方法，该方法包括如下步骤：
S1、离线建立数据库，具体为：
S11、构建目标图像数据库，并采集网络、标准图像库以及自建图像数据库中的图像存储至目标图像数据库；
S12、构建目标信息数据库，并将目标图像数据库中的图像的标注信息存储至目标信息数据库；
S13、构建目标特征数据库，利用基于深度学习的物体检测模型对目标图像数据库中的图像进行目标检测，对检测出的目标进行特征提取并存储至目标特征数据库；
S2、对输入的真实场景图像进行在线增强数据图像；
S21、移动终端在预览或者拍摄模式下获得真实场景图像；
S22、利用所述基于深度学习的物体检测模型对输入的真实场景图像进行目标检测，得到真实场景图像中所有显著性目标，并对所有显著性目标进行特征提取；
S23、将真实场景图像中每个目标特征与目标特征数据库中目标特征进行比对，得到目标图像排序结果；
S24、根据所述目标图像排序结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库中检索出至少一张目标图像的原始数据以及从目标信息数据库中提取与至少一张目标图像对应的目标标注信息；
S25、将检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并显示叠加后的融合图像。
进一步地，上述基于深度学习的物体检测模型具体为：
针对感兴趣目标数据，设计基于深度学习的物体检测模型并利用感兴趣目标对基于深度学习的物体检测模型进行训练得到；
其中，感兴趣目标数据包括外部数据或者通过手工标注所述目标图像数据库中部分/全部目标图像中的感兴趣目标数据。
进一步地，在所述的步骤S21之前，还包括：
对所述真实场景的图像进行降噪处理，得到处理后的真实场景图像。
进一步地，上述方法还包括：
基于特征提取方法，对所述利用基于深度学习的物体检测模型检测出的目标进行特征提取。
进一步地，上述的步骤S23，具体包括：
将所述真实场景图像中目标特征与目标特征数据库中所有目标特征进行比对计算，并将计算出的相似性分数由高到低排序；
按照相似性分数的高低顺序，返回目标图像数据库中与所述用于排序的特征对应的目标图像，得到所述目标图像结果。
进一步地，所述方法还包括：
对检索结果进行分析，并根据分析结果对所述的物体检测模型进行优化。
第二方面，本发明提供了一种在移动终端预览、拍摄模式下的数据增强装置，该装置包括：移动终端和服务端；
移动终端包括场景图像获取模块以及第一收/发模块，服务端包括目标检测模块、特征提取模块、数据库模块、检索模块、提取模块、数据增强模块以及第二收/发模块，数据库模块包括目标特征数据库、目标图像数据库以及目标信息数据库；
场景图像获取模块取真实场景的图像数据，并通过第一收/发模块将真实场景的图像发送至第二收/发模块；
目标检测模块利用预先训练好的目标检测模型对第二收/发模块接收到的真实场景图像进行检测，得到真实场景图像中所有显著性目标，并将检测出的所有显著性目标发送至特征提取模块；
特征提取模块对所有显著性目标的图像区域进行特征提取，得到真实场景图像中每个显著性目标的特征；
检索模块将真实场景图像中每个目标特征与目标特征数据库中目标特征进行快速比对排序，得到目标图像排序结果；
提取模块用于根据检索模块的比对结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库中检索出至少一张目标图像的原始数据以及从目标信息数据库中提取与至少一张目标图像对应的目标标注信息；
数据增强模块将提取模块检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并将叠加后的融合图像通过第二收/发模块发送至移动终端以进行显示。
进一步地，上述的目标检测模块具体为：
针对感兴趣目标数据，设计基于深度学习的物体检测模型并利用感兴趣目标对基于深度学习的物体检测模型进行训练；
其中，感兴趣目标数据包括外部数据或者通过手工标注部分或全部目标图像中的感兴趣目标数据。
进一步地，移动终端还包括与场景图像获取模块连接的预处理模块；
预处理模块用于对所述真实场景的图像数据进行降噪处理，得到处理后的真实场景图像。
与现有技术相比，本发明存在以下技术效果：本发明通过采用目标检测模型可自动准确的找到场景中的显著性物体，而不需要在真实场景图片中加入标记。并且，该目标检测模型可以是基于深度学习的，可以根据特定应用场景的需求，针对性的扩充用于检索与搜索的目标训练样本的数目与类别，提高检测与搜索的精度。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是本发明中一种在移动终端预览、拍摄模式下的数据增强方法的流程示意图；
图2是本发明中离线建立数据库模块的流程示意图；
图3是本发明中在线实现增强图像数据的流程示意图；
图4是本发明中一种在移动终端预览、拍摄模式下的数据增强装置的流程示意图；
图5是本发明中输入客户端的真实场景图像；
图6是对图5中的真实场景图像进行数据增强的结果显示图；
图7是本发明中输入客户端的另一真实场景图像；
图8是对图7中的真实场景图像进行数据增强的结果显示图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
实施例一
如图1所示，本实施例公开了一种在移动终端预览、拍摄模式下的数据增强方法，包括如下步骤S1至S2：
S1、离线建立数据库，具体为：
S11、构建目标图像数据库，并采集网络、标准图像库以及自建图像数据库中的图像存储至目标图像数据库；
S12、构建目标信息数据库，并将目标图像数据库中的图像的标注信息存储至目标信息数据库；
S13、构建目标特征数据库，利用基于深度学习的物体检测模型对目标图像数据库中的图像进行目标检测，对检测出的目标进行特征提取并存储至目标特征数据库；
S2、对输入的真实场景图像进行在线增强数据图像；
S21、移动终端在预览或者拍摄模式下获得真实场景图像；
S22、利用所述基于深度学习的物体检测模型对输入的真实场景图像进行目标检测，得到真实场景图像中所有显著性目标，并对所有显著性目标进行特征提取；
其中，通过数字处理技术对所有显著性目标的特征进行提取，得到真实场景图像中每个显著性目标的特征。对显著性目标进行特征提取的方法包括但不限于GoogleNet等基于深度学习的特征提取方法或者SIFT等传统的图像特征提取方法等。
具体地，对真实场景图像采用的检测方法采用基于深度学习的物体检测算子比如Faster R-CNN等，检测出的结果包括但不限于bounding box或binary mask等。
S23、将真实场景图像中每个目标特征与目标特征数据库中目标特征进行比对，得到目标图像排序结果；
具体地，该处对目标特征数据库中的目标特征与真实场景图像中显著性目标的特征进行快速比较的方法包括但不限于PQ等相似性度量方法。在实际应用中，根据目标特征数据库中的特征与实时提取的显著性目标的特征进行快速比较，并以快速比较的结果为基础，获得目标图像数据库中所有的图像与显著性物体图像区域的相似性分数。
S24、根据所述目标图像排序结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库中检索出至少一张目标图像的原始数据以及从目标信息数据库中提取与至少一张目标图像对应的目标标注信息；
需要说明的是，图像数据存取分布式文件系统包括但不限于Hadoop图像数据存取分布式文件系统。
具体地，目标信息数据库中的目标标注信息包括但不限于物品品类、全称、尺寸、存在年限等。
优选地，在目标是商品的情况下，目标标注信息还包括商品链接、销售该商品的电子商务网站等。在目标为认知学习的一般物体时，目标标注信息还包括目标的介绍信息、百科信息链接等。
S25、将检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并显示叠加后的融合图像。
进一步地，如图2所示，本实施例中的目标图像数据库、目标特征数据库以及目标信息数据库是在预先在离线情况下建立的，其中：
目标图像数据库的作用是：存储从网络、标准图像库以及自建的图像数据库中采集得到待比较图像。
目标信息数据库的作用是：存储目标图像数据库中图像的标注信息，该标注信息来自网络或者人工标注，比如来自电商的商品名称、价格、描述、评价、销量等；来自百科等认知性书籍中物体的名称、描述等；或者来自网络的某建筑物的位置、名称、描述等信息。
目标特征数据库的作用是：对待比较目标特征进行存储。首先利用外部感兴趣数据即目标图像数据库中以外的数据，或者通过手工标注目标图像数据库中部分/全部图像中感兴趣目标训练一个基于深度学习的物体检测模型，即得到上述预先训练好的目标检测模型，然后，利用该训练好的目标检测模型逐一对目标图像数据库中的图像进行目标检测，再对检测出的目标物体进行特征提取，存储在目标特征数据库中。
进一步地，上述基于深度学习的物体检测模型具体为：
针对感兴趣目标数据，设计基于深度学习的物体检测模型并利用感兴趣目标对基于深度学习的物体检测模型进行训练；
其中，感兴趣目标数据包括外部数据或者通过手工标注所述目标图像数据库中部分/全部目标图像中的感兴趣目标数据。
进一步地，在步骤S21之前，本实施例中还对输入的真实场景图像进行降噪等预处理，以提高输入的真实场景图像的准确性。
进一步地，上述的步骤S23，具体包括如下步骤：
将所述真实场景图像中目标特征与目标特征数据库中所有目标特征进行比对，按照计算出的相似性分数由高到低排序；
按照相似性分数的高低顺序，返回目标图像数据库中与所述用于排序的特征对应的目标图像，得到所述目标图像结果。
图3示出了对获取的真实场景图像在线实现增强图像的过程，本实施例中在获取真实场景图像时，实时对图像中显著性目标的特征进行提取，并与预先离线建立的目标特征数据库中的目标特征进行快速比对，并在目标图像数据库中实时检索出同款或者同类别物体的图像，再基于检索结果与增强现实技术相结合，叠加目标图像的原始数据、属性以及URL等信息，并将叠加结果实时显示，实现真实场景和计算机辅助信息的集成，具有更好的人机交互体验感。
进一步地，在实际应用中，根据检索结果选择进一步操作或存入数据库并进行算法提升学习，使识别的准确率持续提高。
实施例二
在上述实施例一公开的内容的基础上，采用基于深度学习的方法如Faster R-CNN模型对真实场景图像进行显著性目标检测，过程如下：
Faster R-CNN模型由RPN+Fast R-CNN构成：将原始图像输入划分成n×n个区域，每个区域给出9个不同ratio和scale的proposal，输出的是对输入的固定proposal是属于背景还是前景的判断和对齐位置的修正（regression）；再将RPN的输出作为Fast R-CNN的输入，经过两个全连接得到特征，并将这特征共享到两个新的全连接，连接上两个优化目标，第一个优化目标是分类，使用Softmax，第二个优化目标是边界框回归，使用了平滑的L1-loss。
分类损失函数，是一个K＋1个的Softmax输出，其中的K是类别数，１是背景。回归损失函数，是一个４×K路输出的回归器，对于每个类别都会训练一个单独的回归器，回归器的损失函数采用平滑的Ｌ１范数。
采用传统的特征提取方法如SIFT(Scale-Invariant Feature Transform)特征提取方法，对检测出的显著性目标进行特征提取的过程为：
（1）特征点检出：采用DoG方法，把图像做不同程度的高斯模糊blur，获得变化很大的点，就是特征点。为了找到足够的点，需要把图像放大缩小几倍(Image Pyramids)来重复这个步骤找特征点。可代替特征点检出还有很多其他方法如MSER，Harris, Hessian等变种方法。
（2）特征点描述：即以检出的特征点为中心选16×16的区域作为局部块（localpatch），这个区域又均分为4×4个子区域，每个子区域中各个像素的梯度都可以分到8个bin里面，这样就得到了4×4×8=128维的特征向量。特征点检出以后再做归一化，计算这个patch的主方向，然后根据这个主方向把patch旋转到特定方向，这样计算的特征就有了方向不变性，也需要根据patch各像素梯度大小把patch缩放到一定的尺度，这样特征就有了尺度不变性。
实施例三
如图4所示，本实施例公开了一种在移动终端预览、拍摄模式下的数据增强装置，该装置包括：移动终端10和服务端20；
移动终端包括场景图像获取模块11以及第一收/发模块12，服务端20包括目标检测模块21、特征提取模块22、数据库模块23、检索模块24、提取模块25、数据增强模块26以及第二收/发模块27，数据库模块23包括目标特征数据库231、目标图像数据库232以及目标信息数据库233；
场景图像获取模块11获取真实场景的图像数据，并通过第一收/发模块12将真实场景的图像发送至第二收/发模块27；
目标检测模块21利用预先训练好的目标检测模型对第二收/发模块27接收到的真实场景图像进行检测，得到真实场景图像中所有显著性目标，并将检测出的所有显著性目标发送至特征提取模块22；
特征提取模块22对所有显著性目标的图像区域进行特征提取，得到真实场景图像中每个显著性目标的特征；
检索模块24将真实场景图像中每个目标特征与目标特征数据库231中目标特征进行快速比对排序，得到目标图像排序结果；
提取模块25用于根据检索模块24的比对结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库232中检索出至少一张目标图像的原始数据以及从目标信息数据库233中提取与至少一张目标图像对应的目标标注信息；
数据增强模块26将提取模块25检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并将叠加后的融合图像通过第二收/发模块27发送至移动终端10以进行显示。
需要说明的是，本实施例中场景获取模块11可以是内置在客户端10中的用于拍照的APP，或者是外接于客户端10的拍照设备。
本实施例中的客户端10包括但不限于笔记本、监控器材、手机、车载设备以及眼镜等电子设备。
进一步地，目标检测模块21具体为：
针对感兴趣目标数据，设计基于深度学习的物体检测模型并利用感兴趣目标对基于深度学习的物体检测模型进行训练，得到目标检测模块；
其中，感兴趣目标数据包括外部数据或者通过手工标注部分或全部目标图像中的感兴趣目标数据。
需要说明的是，本实施例中的目标检测模型21还可以通过感兴趣目标数据对一个基于深度学习的物体检测模型进行训练得到，在实际应用中，可以根据不同应用场景的需求，针对性的扩充用于检测与搜索的目标检测模型训练样本的数目与类别，提高检测与搜索的精度。
进一步地，移动终端10还包括与场景图像获取模块连接的预处理模块；
预处理模块用于对所述真实场景的图像数据进行降噪处理，得到处理后的真实场景图像。
需要说明的是，本发明公开的一种在移动终端预览、拍摄模式下的数据增强方法及装置，通过建立广泛、海量物品数据库，运用数字图像处理技术比如深度学习等来提取目标图像库中图像的目标物体的特征并进行存储。通过客户端接收真实场景的数字图像，检测出有意义的所有显著性物体，同样提取物体特征。对输入的真实场景图像与目标图像数据库中的图像进行相似性匹配，检索出同类或者同一物体。并将通用物体的识别技术与增强现实技术相结合进行数据增强，在为用户提供视觉化的显示的同时也为用户提供触摸式互动，在用户的认知学习及商品的检索中实现巨大的突破。
应用本实发明公开的一种在移动终端预览、拍摄模式下的数据增强方法及装置的效果如下：
如图5所示，用户在行走过程中，看到身边某处陈列的物品，想了解物品的名称以及从何处可以购买到。该用户只需要打开手机的摄像功能，对目标物体所在场景进行扫描，利用数字图像处理技术自动检测到图5中的显著性物体，并在数据库模块中检索出相似物体，并识别出物体的属性如类别、名称、产地、物品同款、价格统计以及电商链接等属性信息展示给用户，用户可选择具体的功能进行进一步操作，例如通过点击电商链接购买等。对图5展示的真实场景图像进行数据增强的结果如图6所示。
如图7所示，当搭载行测和记录仪的车辆行驶过程中，行车记录仪拍摄模式下所拍摄的真实场景图像。利用本发明公开的方案能够实时识别出车辆所处场景，并根据所述场景计算出车辆所在地理位置，道路宽度，拥堵状况等从而增强导航功能，当记录仪拍摄到餐馆、商场、公园时，能够对目标物体进行实时三维重建，并语音播报提示或显示餐馆特色、菜系、服务等对用户有价值的信息，显示商场和公园的人流量环境、价格、氛围等对用户有价值的信息。对图7所示的真实场景预想进行数据增强的结果如图8所示。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种在移动终端预览、拍摄模式下的数据增强方法，其特征在于，包括：
S1、离线建立数据库，具体为：
S11、构建目标图像数据库，并采集网络、标准图像库以及自建图像数据库中的图像存储至目标图像数据库；
S12、构建目标信息数据库，并将目标图像数据库中的图像的标注信息存储至目标信息数据库；
S13、构建目标特征数据库，利用基于深度学习的物体检测模型对目标图像数据库中的图像进行目标检测，对检测出的目标进行特征提取并存储至目标特征数据库；
S2、对输入的真实场景图像进行在线增强数据图像；
S21、移动终端在预览或者拍摄模式下获得真实场景图像；
S22、利用所述基于深度学习的物体检测模型对输入的真实场景图像进行目标检测，得到真实场景图像中所有显著性目标，并对所有显著性目标进行特征提取；
S23、将真实场景图像中每个目标特征与目标特征数据库中目标特征进行比对，得到目标图像排序结果；
S24、根据所述目标图像排序结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库中检索出至少一张目标图像的原始数据以及从目标信息数据库中提取与至少一张目标图像对应的目标标注信息；
S25、将检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并显示叠加后的融合图像。
2.如权利要求1所述的方法，其特征在于，所述基于深度学习的物体检测模型具体为：
针对感兴趣目标数据，设计基于深度学习的物体检测模型并利用感兴趣目标对基于深度学习的物体检测模型进行训练得到；
其中，感兴趣目标数据包括外部数据或者通过手工标注所述目标图像数据库中部分/全部目标图像中的感兴趣目标数据。
3.如权利要求2所述的方法，其特征在于，在所述的步骤S21之前，还包括：
对所述真实场景的图像进行降噪处理，得到处理后的真实场景图像。
4.如权利要求2所述的方法，其特征在于，还包括：
基于特征提取方法，对所述利用基于深度学习的物体检测模型检测出的目标进行特征提取。
5.如权利要求2所述的方法，其特征在于，所述的步骤S23，具体包括：
将所述真实场景图像中目标特征与目标特征数据库中所有目标特征进行比对计算，并将计算出的相似性分数由高到低排序；
按照相似性分数的高低顺序，返回目标图像数据库中与所述用于排序的特征对应的目标图像，得到所述目标图像结果。
6.如权利要求2所述的方法，其特征在于，还包括：
对检索结果进行分析，并根据分析结果对所述的物体检测模型进行优化。
7.一种在移动终端预览、拍摄模式下的数据增强装置，其特征在于，包括移动终端（10）和服务端（20）；
移动终端包括场景图像获取模块（11）以及第一收/发模块（12），服务端（20）包括目标检测模块（21）、特征提取模块（22）、数据库模块（23）、检索模块（24）、提取模块（25）、数据增强模块（26）以及第二收/发模块（27），数据库模块（23）包括目标特征数据库（231）、目标图像数据库（232）以及目标信息数据库（233）；
场景图像获取模块（11）获取真实场景的图像数据，并通过第一收/发模块（12）将真实场景的图像发送至第二收/发模块（27）；
目标检测模块（21）利用预先训练好的目标检测模型对第二收/发模块（27）接收到的真实场景图像进行检测，得到真实场景图像中所有显著性目标，并将检测出的所有显著性目标发送至特征提取模块（22）；
特征提取模块（22）对所有显著性目标的图像区域进行特征提取，得到真实场景图像中每个显著性目标的特征；
检索模块（24）将真实场景图像中每个目标特征与目标特征数据库（231）中目标特征进行快速比对排序，得到目标图像排序结果；
提取模块（25）用于根据检索模块（24）的比对结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库（232）中提取出至少一张目标图像的原始数据以及从目标信息数据库（233）中提取与至少一张目标图像对应的目标标注信息；
数据增强模块（26）将提取模块（25）检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并将叠加后的融合图像通过第二收/发模块（27）发送至移动终端（10）以进行显示。
8.如权利要求7所述的装置，其特征在于，所述的目标检测模块（21）具体为：
针对感兴趣目标数据，设计基于深度学习的物体检测模型，并利用感兴趣目标对基于深度学习的物体检测模型进行训练得到；
其中，感兴趣目标数据包括外部数据或者通过手工标注部分或全部目标图像中的感兴趣目标数据。
9.如权利要求8所述的装置，其特征在于，所述移动终端（10）还包括与场景图像获取模块连接的预处理模块；
预处理模块用于对所述真实场景的图像数据进行降噪处理，得到处理后的真实场景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710871235.1A CN107705259A (zh) | 2017-09-24 | 2017-09-24 | 一种在移动终端预览、拍摄模式下的数据增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710871235.1A CN107705259A (zh) | 2017-09-24 | 2017-09-24 | 一种在移动终端预览、拍摄模式下的数据增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107705259A true CN107705259A (zh) | 2018-02-16 |
Family
ID=61174383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710871235.1A Pending CN107705259A (zh) | 2017-09-24 | 2017-09-24 | 一种在移动终端预览、拍摄模式下的数据增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107705259A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040461A (zh) * | 2018-08-29 | 2018-12-18 | 优视科技新加坡有限公司 | 一种基于对象识别的业务处理方法和装置 |
| CN109348120A (zh) * | 2018-09-30 | 2019-02-15 | 烽火通信科技股份有限公司 | 一种拍摄方法、图像的显示方法、系统及设备 |
| CN109492607A (zh) * | 2018-11-27 | 2019-03-19 | Oppo广东移动通信有限公司 | 一种信息推送方法、信息推送装置及终端设备 |
| CN109887276A (zh) * | 2019-01-30 | 2019-06-14 | 北京同方软件股份有限公司 | 基于前景提取与深度学习融合的夜间交通拥堵检测方法 |
| CN109977782A (zh) * | 2019-02-27 | 2019-07-05 | 浙江工业大学 | 基于目标位置信息推理的跨店经营行为检测方法 |
| CN110046632A (zh) * | 2018-11-09 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 模型训练方法和装置 |
| CN110264515A (zh) * | 2019-05-07 | 2019-09-20 | 联想（上海）信息技术有限公司 | 一种标注方法及电子设备 |
| CN111143424A (zh) * | 2018-11-05 | 2020-05-12 | 百度在线网络技术（北京）有限公司 | 特征场景数据挖掘方法、装置和终端 |
| CN112822389A (zh) * | 2019-11-18 | 2021-05-18 | 北京小米移动软件有限公司 | 照片拍摄方法、照片拍摄装置及存储介质 |
| CN114037880A (zh) * | 2020-07-20 | 2022-02-11 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN114724087A (zh) * | 2022-04-22 | 2022-07-08 | 四川众合智控科技有限公司 | 一种提升地铁巡检设备图像识别准确率的识别方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214222A (zh) * | 2011-06-15 | 2011-10-12 | 中国电信股份有限公司 | 通过手机摄像获取景物资讯的预分类及交互系统和方法 |
| CN102238466A (zh) * | 2010-04-20 | 2011-11-09 | 上海博路信息技术有限公司 | 一种移动增强现实的手机系统 |
| CN103310099A (zh) * | 2013-05-30 | 2013-09-18 | 佛山电视台南海分台 | 一种利用图像捕获和识别技术实现增强现实的方法和系统 |
| CN105183823A (zh) * | 2015-08-28 | 2015-12-23 | 上海永为科技有限公司 | 一种虚拟对象和实景影像的互动展示系统 |
| CN105391970A (zh) * | 2014-08-27 | 2016-03-09 | Metaio有限公司 | 提供由车辆的场景相机捕获的至少一个图像的方法和系统 |
| CN106200917A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种增强现实的内容显示方法、装置及移动终端 |
| CN107038619A (zh) * | 2017-02-09 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 虚拟资源管理方法及装置 |
| CN107169106A (zh) * | 2017-05-18 | 2017-09-15 | 珠海习悦信息技术有限公司 | 视频检索方法、装置、存储介质及处理器 |
-
2017
- 2017-09-24 CN CN201710871235.1A patent/CN107705259A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102238466A (zh) * | 2010-04-20 | 2011-11-09 | 上海博路信息技术有限公司 | 一种移动增强现实的手机系统 |
| CN102214222A (zh) * | 2011-06-15 | 2011-10-12 | 中国电信股份有限公司 | 通过手机摄像获取景物资讯的预分类及交互系统和方法 |
| CN103310099A (zh) * | 2013-05-30 | 2013-09-18 | 佛山电视台南海分台 | 一种利用图像捕获和识别技术实现增强现实的方法和系统 |
| CN105391970A (zh) * | 2014-08-27 | 2016-03-09 | Metaio有限公司 | 提供由车辆的场景相机捕获的至少一个图像的方法和系统 |
| CN105183823A (zh) * | 2015-08-28 | 2015-12-23 | 上海永为科技有限公司 | 一种虚拟对象和实景影像的互动展示系统 |
| CN106200917A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种增强现实的内容显示方法、装置及移动终端 |
| CN107038619A (zh) * | 2017-02-09 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 虚拟资源管理方法及装置 |
| CN107169106A (zh) * | 2017-05-18 | 2017-09-15 | 珠海习悦信息技术有限公司 | 视频检索方法、装置、存储介质及处理器 |
Non-Patent Citations (3)
| Title |
|---|
| 中国国防科技信息中心 著: "《自主系统与人工智能领域科技发展报告》", 31 July 2017, 国防工业出版社 * |
| 郑宏达: "《人工智能视频分析 智能终端的崛起》", 31 August 2017 * |
| 马慧彬: "《基于机器学习的乳腺图像辅助诊断算法研究》", 31 August 2016 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040461A (zh) * | 2018-08-29 | 2018-12-18 | 优视科技新加坡有限公司 | 一种基于对象识别的业务处理方法和装置 |
| CN109348120A (zh) * | 2018-09-30 | 2019-02-15 | 烽火通信科技股份有限公司 | 一种拍摄方法、图像的显示方法、系统及设备 |
| CN111143424B (zh) * | 2018-11-05 | 2024-05-28 | 阿波罗智能技术(北京)有限公司 | 特征场景数据挖掘方法、装置和终端 |
| CN111143424A (zh) * | 2018-11-05 | 2020-05-12 | 百度在线网络技术（北京）有限公司 | 特征场景数据挖掘方法、装置和终端 |
| CN110046632B (zh) * | 2018-11-09 | 2023-06-02 | 创新先进技术有限公司 | 模型训练方法和装置 |
| CN110046632A (zh) * | 2018-11-09 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 模型训练方法和装置 |
| CN109492607A (zh) * | 2018-11-27 | 2019-03-19 | Oppo广东移动通信有限公司 | 一种信息推送方法、信息推送装置及终端设备 |
| CN109887276A (zh) * | 2019-01-30 | 2019-06-14 | 北京同方软件股份有限公司 | 基于前景提取与深度学习融合的夜间交通拥堵检测方法 |
| CN109887276B (zh) * | 2019-01-30 | 2020-11-03 | 北京同方软件有限公司 | 基于前景提取与深度学习融合的夜间交通拥堵检测方法 |
| CN109977782A (zh) * | 2019-02-27 | 2019-07-05 | 浙江工业大学 | 基于目标位置信息推理的跨店经营行为检测方法 |
| CN109977782B (zh) * | 2019-02-27 | 2021-01-08 | 浙江工业大学 | 基于目标位置信息推理的跨店经营行为检测方法 |
| CN110264515B (zh) * | 2019-05-07 | 2023-08-18 | 联想（上海）信息技术有限公司 | 一种标注方法及电子设备 |
| CN110264515A (zh) * | 2019-05-07 | 2019-09-20 | 联想（上海）信息技术有限公司 | 一种标注方法及电子设备 |
| CN112822389A (zh) * | 2019-11-18 | 2021-05-18 | 北京小米移动软件有限公司 | 照片拍摄方法、照片拍摄装置及存储介质 |
| CN114037880A (zh) * | 2020-07-20 | 2022-02-11 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN114724087A (zh) * | 2022-04-22 | 2022-07-08 | 四川众合智控科技有限公司 | 一种提升地铁巡检设备图像识别准确率的识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107705259A (zh) | 一种在移动终端预览、拍摄模式下的数据增强方法及装置 | |
| CN109165582B (zh) | 一种城市街道垃圾检测和清洁度评估方法 | |
| CN103995889B (zh) | 图片分类方法及装置 | |
| CN106033435B (zh) | 物品识别方法和装置，室内地图生成方法和装置 | |
| CN103996036B (zh) | 一种地图数据采集方法及装置 | |
| WO2020134102A1 (zh) | 物品识别方法、装置、售货系统和存储介质 | |
| CN108230337A (zh) | 一种基于移动端的语义slam系统实现的方法 | |
| Li et al. | Integrated use of spatial and semantic relationships for extracting road networks from floating car data | |
| CN103426003A (zh) | 增强现实交互的实现方法和系统 | |
| CN107315755A (zh) | 查询对象的轨迹生成方法及装置 | |
| CN106447383A (zh) | 跨时间、多维度异常数据监测的方法和系统 | |
| CN104346370A (zh) | 图像搜索、获取图像文本信息的方法及装置 | |
| CN101853299A (zh) | 一种基于感性认知的图像检索结果排序方法 | |
| CN101976461A (zh) | 一种新的户外增强现实无标跟踪注册算法 | |
| CN102982332A (zh) | 基于云处理方式的零售终端货架影像智能分析系统 | |
| CN108109055B (zh) | 一种基于图像渲染的跨场景服装检索方法 | |
| CN102034116B (zh) | 基于互补特征和类描述的商品图像分类方法 | |
| CN109977983A (zh) | 获得训练图像的方法及装置 | |
| CN108335317A (zh) | 一种线下导购方法及装置 | |
| CN103793717A (zh) | 判断图像主体显著性及训练其分类器的方法和系统 | |
| CN110493363A (zh) | 一种智能手机随机mac地址的辨别系统及方法 | |
| Benallal et al. | An image-based convolutional neural network system for road defects detection | |
| CN112815958A (zh) | 一种导航对象显示方法、装置、设备及存储介质 | |
| CN111797704A (zh) | 一种基于相关物体感知的动作识别方法 | |
| CN113743382B (zh) | 一种货架陈列检测方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |