CN107678655A - 一种图像要素提取方法及图像要素提取系统 - Google Patents

一种图像要素提取方法及图像要素提取系统 Download PDF

Info

Publication number
CN107678655A
CN107678655A CN201710940032.3A CN201710940032A CN107678655A CN 107678655 A CN107678655 A CN 107678655A CN 201710940032 A CN201710940032 A CN 201710940032A CN 107678655 A CN107678655 A CN 107678655A
Authority
CN
China
Prior art keywords
image
unit
key element
sliding trace
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710940032.3A
Other languages
English (en)
Other versions
CN107678655B (zh
Inventor
孙伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chuanying Information Technology Co Ltd
Original Assignee
Shanghai Spreadrise Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Spreadrise Technologies Co Ltd filed Critical Shanghai Spreadrise Technologies Co Ltd
Priority to CN201710940032.3A priority Critical patent/CN107678655B/zh
Publication of CN107678655A publication Critical patent/CN107678655A/zh
Application granted granted Critical
Publication of CN107678655B publication Critical patent/CN107678655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种图像要素提取方法及图像要素提取系统,图像要素提取方法包括以下步骤:显示一第一图像的显示单元接收一滑动操作;所述显示单元识别所述滑动操作于所述显示单元的显示界面上的滑动轨迹;检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素;新建一第二图像,将提取的所述图像要素存储至所述第二图像内;保存所述第二图像。采用上述技术方案后,用户一键操作便可完成所需图像要素的提取,方便快捷。

Description

一种图像要素提取方法及图像要素提取系统
技术领域
本发明涉及智能设备领域,尤其涉及一种图像要素提取方法及图像要素提取系统。
背景技术
智能终端经过数十年的发展,也已成为人们生活中不可或缺的一部分。很难想象没有智能终端的日子是黑暗还是昏暗。时至今日,我国已经拥有近八亿的智能终端用户,如此庞大的客户群体使众多智能终端厂商对自己的前途无比的自信和疯狂的坚持,也就有多年前第一批国产手机品牌攻城略地占据国内近半江山,之后由于技术,市场等方面处于劣势,又将领地拱手让人。
二十一世纪初将照相功能集成于智能终端,使得一大批智能终端厂家借此拉高智能终端价格,并获得丰厚利润。如今虽照相不能再为智能终端行业创造新的利润点,其过去辉煌昭示着,新技术新功能的引进能给行业注入极大动力。因此,为智能终端照相完成后的图像进行处理,成为新一代的发展方向。
基于此,逐渐流行一种将多张图像内的各个人物、风景、建筑等结合在一起的图像处理方法,但由于需要叠加的图像要素过多,需要用户将每一图像要素从一图像中提取出来,并重新布置和调节,以与其他图像要素合并。因此,操作上具有一定的难度,浪费大量的时间。
因此,需要一种可快速提取图像中图像要素的方法,用户一键操作便可完成所需图像要素的提取,方便快捷。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种图像要素提取方法和图像要素提取系统,可依照用户的喜好,快速地、准确地提取出用户所需的图像要素的素材,更丰富对图像的处理办法。
本发明公开了一种图像要素提取方法,包括以下步骤:
显示一第一图像的显示单元接收一滑动操作;
所述显示单元识别所述滑动操作于所述显示单元的显示界面上的滑动轨迹;
检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素;
新建一第二图像,将提取的所述图像要素存储至所述第二图像内;
保存所述第二图像。
优选地,所述显示单元识别所述滑动操作于所述显示单元的显示界面上的滑动轨迹的步骤包括:
感应所述滑动操作于所述显示单元上的初触点,启动识别功能;
检测自所述初触点起,所述滑动操作内每一触点与前一前一触点的路径;
感应所述滑动操作离开所述显示单元前与所述显示界面接触的末触点;
连接每一触点与前一触点的所有路径,形成所述滑动轨迹。
优选地,检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素的步骤包括:
建立一对应所述显示单元的坐标系;
获取所述滑动轨迹于所述坐标系的位置;
定位处于所述滑动轨迹的相同位置的图像要素;
提取所述图像要素。
优选地,定位处于所述滑动轨迹的相同位置的图像要素的步骤包括:
将所述图像要素映射为带权无向图,其中所述带权无向图中的每个节点对应于所述图像要素中的每一像素点,每条边界连接着一对相邻的像素点;
沿所述边界剪切所述图像要素,被剪切的每个区域对应于所述带权无向图中的一个子图,其中每一所述子图对应于一图像单元;
提取所述图像要素的步骤包括:
提取所述图像单元。
优选地,检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素的步骤与新建一第二图像,将提取的所述图像要素存储至所述第二图像内的步骤间还包括:
上传所述图像要素至云端服务器;
所述云端服务器检索与所述图像要素相似的相似要素;
获取所述相似要素并替换所述图像要素。
本发明还公开了一种图像要素提取系统,包括:
显示屏,显示一第一图像并接收一滑动操作,且识别所述滑动操作于所述显示屏的显示界面上的滑动轨迹;
处理器,与所述显示屏连接,接收所述滑动轨迹后执行以下步骤:
检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素;
新建一第二图像,将提取的所述图像要素存储至所述第二图像内;
保存所述第二图像。
优选地,所述显示屏包括:
感应单元,感应所述滑动操作于所述显示屏上的初触点,及所述滑动操作离开所述显示屏前与所述显示界面接触的末触点;
检测单元,与所述感应单元连接,检测自所述初触点起,至所述末触点止,所述滑动操作内每一触点与前一触点的路径;
形成单元,与所述检测单元连接,连接每一触点与前一触点的所有路径,形成所述滑动轨迹。
优选地,所述处理器包括:
建立单元,建立一对应所述显示单元的坐标系;
获取单元,与所述建立单元连接,获取所述滑动轨迹于所述坐标系的位置;
定位单元,与所述获取单元连接,定位处于所述滑动轨迹的相同位置的图像要素;
提取单元,与所述定位单元连接,提取所述图像要素。
优选地,所述处理器还包括:
图像映射单元,将所述图像要素映射为带权无向图,其中所述带权无向图中的每个节点对应于所述图像要素中的每一像素点,每条边界连接着一对相邻的像素点;
剪切单元,与所述图像映射单元连接,沿所述边界剪切所述图像要素,被剪切的每个区域对应于所述带权无向图中的一个子图,其中每一所述子图对应于一图像单元;
所述提取单元还与所述剪切单元连接,提取所述图像单元作为所述图像要素。
优选地,所述图像要素提取系统还包括:
上传单元及云端服务器,所述上传单元上传所述图像要素至云端服务器;
所述云端服务器检索与所述图像要素相似的相似要素,并将所述相似要素传送至所述处理器;
所述处理器获取所述相似要素并替换所述图像要素。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1.用户通过简单的操作,便可将图像中任意的图像要素提取;
2.图像要素的提取更为精准;
3.分辨率不够的图像要素将被相似要素替换,提高了拼接后的新图像的质量。
附图说明
图1为符合本发明一优选实施例中图像要素提取方法的流程示意图;
图2为符合本发明一优选实施例中识别滑动轨迹的流程示意图;
图3为符合本发明一优选实施例中提取图像要素的流程示意图;
图4为符合本发明一优选实施例中定位图像要素的流程示意图;
图5为符合本发明另一优选实施例中图像要素提取方法的流程示意图;
图6为符合本发明一优选实施例中图像要素提取系统的结构示意图;
图7为符合本发明一优选实施例中显示屏的结构示意图;
图8为符合本发明一优选实施例中处理器的结构示意图;
图9为符合本发明另一优选实施例中处理器的结构示意图;
图10为符合本发明另一优选实施例中图像要素提取系统的结构示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
参阅图1,为符合本发明一优选实施例中图像要素提取方法的流程示意图。在该实施例中,包括以下对图像的处理步骤:
S100:显示一第一图像的显示单元接收一滑动操作
该实施例中的图像要素提取方法可在一如智能手机、平板电脑、可穿戴设备等智能终端上使用,此类终端具有一显示单元,该显示单元将在其显示界面上显示一副或多幅图像,当用户需要对该图像内的图像要素提取时,在显示单元上与显示单元接触后滑动,从而向显示单元输入一滑动操作。对于该滑动操作,显示单元将对其感应并接收。值得注意的是,滑动操作并非任意滑动,而是有目的性的滑动。具体地,当使用者需要对图像中的某些或全部图像要素进行提取时,其滑动的位置,也是针对这些需要提取的图像要素来确定,用户可只输入一次滑动操作,该滑动操作的滑动位置需经过图像要素在图像中的位置,相当于把需要提取的图像要素串联出来,而串联的方式,即为该滑动操作。
S200:显示单元识别滑动操作于显示单元的显示界面上的滑动轨迹
用户输入滑动操作后,滑动操作所形成的具有起点和终点的滑动轨迹将被显示单元识别,从而由显示单元了解用户滑动操作经过的具体位置。
S300:检测第一图像内位于所述滑动轨迹上的图像要素并提取图像要素
提取图像要素将需要两部分信息,分别为用户滑动经过的位置,以及滑动经过的位置内具有哪些图像要素。因此,在步骤S200后,需要检测该第一图像内,用户滑动操作产生的滑动轨迹上具有哪些图像要素,并将符合此类条件的图像要素均提取而出。可以理解的是,所谓滑动轨迹上具有的图像要素,是指滑动轨迹形成后,其穿过哪些图像要素,或是与图像要素接触,或是与图像要素的边缘相切等,均视为滑动轨迹上具有的图像要素。
S400:新建一第二图像,将提取的图像要素存储至第二图像内
第一图像内的图像要素提取而出后,在实施例中举例的上述智能终端内新建一区别于第一图像的第二图像,并将从第一图像中提取的图像要素放置在第二图像所在的图层内以保存,从而呈现出图像要素从第一图像中拿出,且如何重新放置、处理、渲染等均可由用户在一新图像内完成的效果。
S500:最后将第二图像保存,形成新图像。
通过以上技术方案的配置,用户在整个过程中的基础操作仅为在显示单元上滑动一次,该一次滑动后的过程全部由执行本发明实施例中的图像要素提取方法的实现,在用户端侧,所呈现的是一键或一次操作完成全部事宜,方便快捷。
参阅图2,在一优选实施例中,对滑动轨迹的识别,由以下步骤完成:
步骤S201:感应滑动操作于显示单元上的初触点,启动识别功能;
步骤S202:检测自初触点起,滑动操作内每一触点与前一前一触点的路径;
步骤S203:感应滑动操作离开显示单元前与显示界面接触的末触点;
步骤S204:连接每一触点与前一触点的所有路径,形成滑动轨迹。
具体地,通过定义手势识别器来完成。上述实施例中的智能终端内具有一手势识别器,获取系统内的手势识别器Gesture Detector对象,通过new Gesture Detector(context,listener)匿名内部类实现简单手势监听器Simple On Gesture Listener接口,重写onFling滑动方法,随后在滑动操作产生时,传递进来四个参数:
MotionEvent e1,MotionEvent e2,velocityX,velocityY
e1是初始触点,e2是当前触点,velocityX为x轴的速度,velocityY为y轴的速度,当初始触点减去当前触点大于200时,我们认为它是从右往左划,下一页;当当前触点减去初始触点大于200时,我们认为它是从左往右划,上一页。最后调用MotionEvent对象的getRawX()可以获取到X轴的坐标。
或是智能终端重写activity的onTouchEvent()方法,获取到手势在界面上的滑动事件,而后传递进来一个参数MotionEvent对象,调用GestureDetector对象的onTouchEvent(event)方法,参数:MotionEvent对象,把获取到的事件传递进去。而当检测到滑动操作是在智能终端的显示界面内斜向滑动时,易造成两个触点的y轴坐标之间的距离大于100时,我们认为它是斜着划的,调用MotionEvent对象的getRawY()可以获取到Y轴的坐标,两个点的差值取绝对值Math.abs(),判断大于100就返回true,不往下进行。当然,如果找不到Simple On Gesture Listener类,使用new Gesture Detector.Simple OnGesture Listener()抽取公用方法到基类抽象类BaseSecActivity中,自己的activity只需要继承这个基类,实现上下页的抽象方法,就能实现左右滑动效果。
最后将所有识别的触点串联起来,便可形成最终的滑动轨迹。
参阅图3,对图像要素的检测方法,由以下步骤实现:
步骤S301:建立一对应显示单元的坐标系;
步骤S302:获取滑动轨迹于坐标系的位置;
步骤S303:定位处于滑动轨迹的相同位置的图像要素;
步骤S304:提取图像要素。
具体地,根据显示单元所显示的显示界面,在其内建立一坐标系,该坐标系的原点可选择为显示界面的左下角,则显示界面内的每一点的横坐标及纵坐标均为正实数,方便计算;另外,该坐标系的原点也可替换为显示界面的正中心,则显示界面的每一点均可归入坐标系的四限内之一。坐标系建立后,对接收到的滑动操作识别,当滑动操作首次与显示单元接触时,该接触的位置为初触点,当用户手指继续在显示单元上滑动时,随着手势的轨迹的延伸,轨迹内的每一点均为任意时刻下滑动操作与显示单元接触的当前触点。可以理解的是,当前触点的识别应当是一无断点的滑动操作内的任意触点,若一滑动操作的轨迹在中部断点,则断点处则为最终的触点位置。具有了滑动轨迹的位置后,查询图像要素所在的范围内同样位于相同位置的图像要素,从而对图像要素定位后提取。
参阅图4,对于图像要素的提取,由以下步骤执行:
首先,步骤S303:定位处于滑动轨迹的相同位置的图像要素的步骤包括了:
步骤S303-1:将图像要素映射为带权无向图,其中带权无向图中的每个节点对应于图像要素中的每一像素点,每条边界连接着一对相邻的像素点;
步骤S303-2:沿边界剪切图像要素,被剪切的每个区域对应于带权无向图中的一个子图,其中每一子图对应于一图像单元。
具体地,首先用一个带权无向图G=<V,E>表示图像要素,V和E分别是顶点(vertex)和边(edge)的集合。普通的图像由顶点和边构成,如果边有方向的,这样的图被则称为有向图,否则为无向图,且边是有权值的,不同的边可以有不同的权值,分别代表不同的物理意义。进一步地,在上述普通图的基础上,图像要素多了2个顶点,这2个顶点分别用符号”S”和”T”表示,统称为终端顶点。其它所有的顶点都必须和这2个顶点相连形成边集合中的一部分。所以该实施例中的图像要素中有两种顶点,也有两种边。
第一种顶点和边是:第一种普通顶点对应于图像要素中的每个像素。每两个邻域顶点(对应于图像中每两个邻域像素)的连接就是一条边。这种边也叫n-links。
第二种顶点和边是:除图像像素外,还有另外两个终端顶点,叫S(source:源点,取源头之意)和T(sink:汇点,取汇聚之意)。每个普通顶点和这2个终端顶点之间都有连接,组成第二种边。这种边也叫t-links。
每个像素对应图中的一个相应顶点,另外还有s和t两个顶点。而部分边表示每两个邻域普通顶点连接的边n-links,另一部分边表示每个普通顶点与s和t连接的边t-links。在前后景分割中,s一般表示前景目标,t一般表示背景。
每条边都有一个非负的权值we,也可以理解为cost(代价或者费用)。一个cut(割)就是图中边集合E的一个子集C,那这个割的cost(表示为|C|)就是边子集C的所有边的权值的总和。
Cuts是指这样一个边的集合,很显然这些边集合包括了上面2种边,该集合中所有边的断开会导致残留”S”和”T”图的分开,所以就称为“割”。如果一个割,它的边的所有权值之和最小,那么这个就称为最小割,也就是图割的结果。而福特-富克森定理表明,网路的最大流max flow与最小割min cut相等。所以由Boykov和Kolmogorov发明的max-flow/min-cut算法就可以用来获得s-t图的最小割。这个最小割把图的顶点划分为两个不相交的子集S和T,其中s∈S,t∈T和S∪T=V。这两个子集就对应于图像的前景像素集和背景像素集,那就相当于完成了图像分割。
为确定边数的权值,图像分割可以看成pixel labeling(像素标记)问题,目标(s-node)的label设为1,背景(t-node)的label设为0,这个过程可以通过最小化图割来最小化能量函数得到。那很明显,发生在目标和背景的边界处的cut就是所需要的(相当于把图像中背景和目标连接的地方割开,那就相当于把其分割了)。同时,这时候能量也应该是最小的。假设图像要素的标签label(每个像素的label)为L={l1,l2,,,,lp},其中li为0(背景)或者1(目标)。那假设图像的分割为L时,图像的能量可以表示为:
E(L)=aR(L)+B(L)
其中,R(L)为区域项(regional term),B(L)为边界项(boundary term),而a就是区域项和边界项之间的重要因子,决定它们对能量的影响大小。如果a为0,那么就只考虑边界因素,不考虑区域因素。E(L)表示的是权值,即损失函数,也叫能量函数,图割的目标就是优化能量函数使其值达到最小。
此外,还需获得区域项:
其中Rp(lp)表示为像素p分配标签lp的惩罚,Rp(lp)能量项的权值可以通过比较像素p的灰度和给定的目标和前景的灰度直方图来获得,换句话说就是像素p属于标签lp的概率,像素p分配为其概率最大的标签lp,这时候希望能量最小,所以一般取概率的负对数值,故t-link的权值如下:
Rp(1)=-ln Pr(Ip|’obj’);Rp(0)=-ln Pr(Ip|’bkg’)
由上面两个公式可以看到,当像素p的灰度值属于目标的概率Pr(Ip|’obj’)大于背景Pr(Ip|’bkg’),那么Rp(1)就小于Rp(0),也就是说当像素p更有可能属于目标时,将p归类为目标就会使能量R(L)小。那么,如果全部的像素都被正确划分为目标或者背景,那么这时候能量就是最小的。
而后,确定边界项:
其中,
其中,p和q为邻域像素,边界平滑项主要体现分割L的边界属性,B<p,q>可以解析为像素p和q之间不连续的惩罚,一般来说如果p和q越相似(例如它们的灰度),那么B<p,q>越大,如果他们非常不同,那么B<p,q>就接近于0。换句话说,如果两邻域像素差别很小,那么它属于同一个目标或者同一背景的可能性就很大,如果他们的差别很大,那说明这两个像素很有可能处于目标和背景的边缘部分,则被分割开的可能性比较大,所以当两邻域像素差别越大,B<p,q>越小,即能量越小。
总结来说,为将图像要素分为目标和背景两个不相交的部分,首先,图由顶点和边来组成,边有权值。需要构建一个图,这个图有两类顶点,两类边和两类权值。普通顶点由图像每个像素组成,然后每两个邻域像素之间存在一条边,它的权值由上面说的“边界平滑能量项”来决定。还有两个终端顶点s(目标)和t(背景),每个普通顶点和s都存在连接,也就是边,边的权值由“区域能量项”Rp(1)来决定,每个普通顶点和t连接的边的权值由“区域能量项”Rp(0)来决定。这样所有边的权值就可以确定了,也就是图就确定了。这时候,就可以通过min cut算法来找到最小的割,这个min cut就是权值和最小的边的集合,这些边的断开恰好可以使目标和背景被分割开,也就是min cut对应于能量的最小化。而min cut和图的max flow是等效的,故可以通过max flow算法来找到s-t图的min cut。
将图像要素按照上述方法分割后,便可对分割而出的图像要素进行提取。
参阅图5,本发明优选地或可选的配置,在步骤S300与步骤S400间,还包括了:
图像要素暂不存储到第二图像内,而是由智能终端将提取出的图像要素至上传云端服务器,云端服务器通过图像识别的功能检索与图像要素相似的相似要素,或查找到与图像要素相似,且该图像要素的图像参数更佳时,将相似要素并替换图像要素。这样配置的好处在于,有些图像中的图像要素可能尺寸较小,提取后分辨率较低,或是图像本身的图像参数不佳,通过云端服务器的识图与替代,可以给予用户更好的处理素材。在云端服务器侧,接收到用户通过智能终端上传的图像要素后,将图像要素进行特征提取,例如通过SIFT描述子,指纹算法函数,bundling features算法,hash function(散列函数)等方式,再例如图像局部N阶矩的方法提取图像特征。随后,将图像特征信息进行编码,并将海量图像编码做查找表。对于相似要素,可以对分辨率较大的图像进行降采样,减少运算量后在进行图像特征提取和编码处理。最后,相似度匹配运算:利用相似要素的编码值,在图像搜索引擎中的图像数据库进行全局或是局部的相似度计算;根据所需要的鲁棒性,设定阈值,然后将相似度高的相似要素预保留下来。
参阅图6-10,以上图像要素的提取可通过基于智能终端的图像要素提取系统完成,该图像要素提取系统包括了:
安装在智能终端的显示屏和处理器两大部件。显示屏用于显示一第一图像并接收一滑动操作,且识别滑动操作于显示屏的显示界面上的滑动轨迹;处理器,与显示屏连接,接收滑动轨迹后执行分别检测第一图像内位于滑动轨迹上的图像要素并提取图像要素,新建一第二图像,将提取的图像要素存储至第二图像内及保存第二图像。
为对滑动操作进行识别,显示屏包括了:
感应单元,感应滑动操作于显示屏上的初触点,及滑动操作离开显示屏前与显示界面接触的末触点;
检测单元,与感应单元连接,检测自初触点起,至末触点止,滑动操作内每一触点与前一触点的路径;
形成单元,与检测单元连接,连接每一触点与前一触点的所有路径,形成滑动轨迹。
以上感应单元、检测单元和形成单元,可集成在一压电传感器内完成,也可由分离的多个器件配合完成皆可。
而处理器,为实现各功能,包括:
建立单元,建立一对应显示单元的坐标系;
获取单元,与建立单元连接,获取所述滑动轨迹于坐标系的位置;
定位单元,与获取单元连接,定位处于滑动轨迹的相同位置的图像要素;
提取单元,与定位单元连接,提取图像要素。
同时,还可包括图像映射单元,将图像要素映射为带权无向图,其中带权无向图中的每个节点对应于图像要素中的每一像素点,每条边界连接着一对相邻的像素点;剪切单元,与图像映射单元连接,沿边界剪切图像要素,被剪切的每个区域对应于带权无向图中的一个子图,其中每一子图对应于一图像单元;提取单元还与剪切单元连接,提取图像单元作为图像要素,用以分别完成图像要素的分割与图像要素的提取。
最后参阅图10,整个图像要素提取系统还包括:上传单元及云端服务器,上传单元上传图像要素至云端服务器;云端服务器检索与图像要素相似的相似要素,并将相似要素传送至处理器;处理器获取相似要素并替换图像要素,以帮助用户获得更佳地,且符合用户喜好的图像要素。
上述各实施例中,智能终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。

Claims (10)

1.一种图像要素提取方法,其特征在于,包括以下步骤:
显示一第一图像的显示单元接收一滑动操作;
所述显示单元识别所述滑动操作于所述显示单元的显示界面上的滑动轨迹;
检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素;
新建一第二图像,将提取的所述图像要素存储至所述第二图像内;
保存所述第二图像。
2.如权利要求1所述的图像要素提取方法,其特征在于,
所述显示单元识别所述滑动操作于所述显示单元的显示界面上的滑动轨迹的步骤包括:
感应所述滑动操作于所述显示单元上的初触点,启动识别功能;
检测自所述初触点起,所述滑动操作内每一触点与前一前一触点的路径;
感应所述滑动操作离开所述显示单元前与所述显示界面接触的末触点;
连接每一触点与前一触点的所有路径,形成所述滑动轨迹。
3.如权利要求1所述的图像要素提取方法,其特征在于,
检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素的步骤包括:
建立一对应所述显示单元的坐标系;
获取所述滑动轨迹于所述坐标系的位置;
定位处于所述滑动轨迹的相同位置的图像要素;
提取所述图像要素。
4.如权利要求3所述的图像要素提取方法,其特征在于,
定位处于所述滑动轨迹的相同位置的图像要素的步骤包括:
将所述图像要素映射为带权无向图,其中所述带权无向图中的每个节点对应于所述图像要素中的每一像素点,每条边界连接着一对相邻的像素点;
沿所述边界剪切所述图像要素,被剪切的每个区域对应于所述带权无向图中的一个子图,其中每一所述子图对应于一图像单元;
提取所述图像要素的步骤包括:
提取所述图像单元。
5.如权利要求1所述的图像要素提取方法,其特征在于,
检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素的步骤与新建一第二图像,将提取的所述图像要素存储至所述第二图像内的步骤间还包括:
上传所述图像要素至云端服务器;
所述云端服务器检索与所述图像要素相似的相似要素;
获取所述相似要素并替换所述图像要素。
6.一种图像要素提取系统,其特征在于,包括:
显示屏,显示一第一图像并接收一滑动操作,且识别所述滑动操作于所述显示屏的显示界面上的滑动轨迹;
处理器,与所述显示屏连接,接收所述滑动轨迹后执行以下步骤:
检测所述第一图像内位于所述滑动轨迹上的图像要素并提取所述图像要素;
新建一第二图像,将提取的所述图像要素存储至所述第二图像内;
保存所述第二图像。
7.如权利要求6所述的图像要素提取系统,其特征在于,
所述显示屏包括:
感应单元,感应所述滑动操作于所述显示屏上的初触点,及所述滑动操作离开所述显示屏前与所述显示界面接触的末触点;
检测单元,与所述感应单元连接,检测自所述初触点起,至所述末触点止,所述滑动操作内每一触点与前一触点的路径;
形成单元,与所述检测单元连接,连接每一触点与前一触点的所有路径,形成所述滑动轨迹。
8.如权利要求6所述的图像要素提取系统,其特征在于,
所述处理器包括:
建立单元,建立一对应所述显示单元的坐标系;
获取单元,与所述建立单元连接,获取所述滑动轨迹于所述坐标系的位置;
定位单元,与所述获取单元连接,定位处于所述滑动轨迹的相同位置的图像要素;
提取单元,与所述定位单元连接,提取所述图像要素。
9.如权利要求8所述的图像要素提取系统,其特征在于,
所述处理器还包括:
图像映射单元,将所述图像要素映射为带权无向图,其中所述带权无向图中的每个节点对应于所述图像要素中的每一像素点,每条边界连接着一对相邻的像素点;
剪切单元,与所述图像映射单元连接,沿所述边界剪切所述图像要素,被剪切的每个区域对应于所述带权无向图中的一个子图,其中每一所述子图对应于一图像单元;所述提取单元还与所述剪切单元连接,提取所述图像单元作为所述图像要素。
10.如权利要求6所述的图像要素提取系统,其特征在于,所述图像要素提取系统还包括:上传单元及云端服务器,所述上传单元上传所述图像要素至云端服务器;
所述云端服务器检索与所述图像要素相似的相似要素,并将所述相似要素传送至所述处理器;
所述处理器获取所述相似要素并替换所述图像要素。
CN201710940032.3A 2017-10-11 2017-10-11 一种图像要素提取方法及图像要素提取系统 Active CN107678655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710940032.3A CN107678655B (zh) 2017-10-11 2017-10-11 一种图像要素提取方法及图像要素提取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710940032.3A CN107678655B (zh) 2017-10-11 2017-10-11 一种图像要素提取方法及图像要素提取系统

Publications (2)

Publication Number Publication Date
CN107678655A true CN107678655A (zh) 2018-02-09
CN107678655B CN107678655B (zh) 2021-12-07

Family

ID=61140227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710940032.3A Active CN107678655B (zh) 2017-10-11 2017-10-11 一种图像要素提取方法及图像要素提取系统

Country Status (1)

Country Link
CN (1) CN107678655B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187320A (zh) * 2021-12-14 2022-03-15 北京柏惠维康科技有限公司 脊柱ct图像的分割方法、椎体成像的识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055329A1 (en) * 2014-08-22 2016-02-25 Oracle International Corporation Captcha techniques utilizing traceable images
CN105513031A (zh) * 2014-10-14 2016-04-20 清华大学 基于图匹配的数据驱动图像外插方法及装置
CN105704396A (zh) * 2014-11-24 2016-06-22 中兴通讯股份有限公司 一种图片处理方法及装置
CN106548185A (zh) * 2016-11-25 2017-03-29 三星电子(中国)研发中心 一种前景区域确定方法和装置
CN106802750A (zh) * 2015-11-26 2017-06-06 北京国双科技有限公司 实现数据处理的交互方法及装置
CN107015746A (zh) * 2017-03-06 2017-08-04 北京潘达互娱科技有限公司 一种界面元素处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055329A1 (en) * 2014-08-22 2016-02-25 Oracle International Corporation Captcha techniques utilizing traceable images
CN105513031A (zh) * 2014-10-14 2016-04-20 清华大学 基于图匹配的数据驱动图像外插方法及装置
CN105704396A (zh) * 2014-11-24 2016-06-22 中兴通讯股份有限公司 一种图片处理方法及装置
CN106802750A (zh) * 2015-11-26 2017-06-06 北京国双科技有限公司 实现数据处理的交互方法及装置
CN106548185A (zh) * 2016-11-25 2017-03-29 三星电子(中国)研发中心 一种前景区域确定方法和装置
CN107015746A (zh) * 2017-03-06 2017-08-04 北京潘达互娱科技有限公司 一种界面元素处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187320A (zh) * 2021-12-14 2022-03-15 北京柏惠维康科技有限公司 脊柱ct图像的分割方法、椎体成像的识别方法及装置
CN114187320B (zh) * 2021-12-14 2022-11-08 北京柏惠维康科技股份有限公司 脊柱ct图像的分割方法、椎体成像的识别方法及装置

Also Published As

Publication number Publication date
CN107678655B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
WO2022213879A1 (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN108537859B (zh) 使用深度学习的图像蒙板
US20210201071A1 (en) Image colorization based on reference information
EP2916291B1 (en) Method, apparatus and computer program product for disparity map estimation of stereo images
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
US9443130B2 (en) Method, apparatus and computer program product for object detection and segmentation
CN103995889A (zh) 图片分类方法及装置
CN107886512A (zh) 一种确定训练样本的方法
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Zeng et al. Quad binary pattern and its application in mean-shift tracking
Dantone et al. Augmented faces
CN113255915A (zh) 基于结构化实例图的知识蒸馏方法、装置、设备和介质
WO2022160736A1 (zh) 图像标注方法、装置、电子设备、存储介质及程序
CN104063444A (zh) 缩略图的生成方法和装置
CN110232131A (zh) 基于创意标签的创意素材搜索方法及装置
CN113850829A (zh) 基于高效深度网络的视频镜头分割方法、装置及相关组件
Lee et al. Property-specific aesthetic assessment with unsupervised aesthetic property discovery
Wu et al. RGBD co-saliency detection via multiple kernel boosting and fusion
US9489741B2 (en) Method, apparatus and computer program product for disparity estimation of foreground objects in images
CN107678655A (zh) 一种图像要素提取方法及图像要素提取系统
CN107886513A (zh) 一种确定训练样本的装置
Santos et al. Recognizing and exploring azulejos on historic buildings' facades by combining computer vision and geolocation in mobile augmented reality applications
WO2020125207A1 (zh) 信息推广方法和装置
CN112785601B (zh) 一种图像分割方法、系统、介质及电子终端
Fareed et al. Saliency detection by exploiting multi-features of color contrast and color distribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: 201203 1st floor, building 1, Lane 36, Xuelin Road, Pudong New Area Free Trade Zone, Shanghai

Patentee after: SHANGHAI TRANSSION INFORMATION TECHNOLOGY Ltd.

Address before: Room 922 / 926, block a, No.1 Lane 399, shengxia Road, Pudong New Area pilot Free Trade Zone, Shanghai 201203

Patentee before: SHANGHAI SPREADRISE COMMUNICATION TECHNOLOGY Ltd.

TR01 Transfer of patent right