CN105574059A - 用于产生一图像的一交互索引码图的电子计算装置及其方法 - Google Patents

用于产生一图像的一交互索引码图的电子计算装置及其方法 Download PDF

Info

Publication number
CN105574059A
CN105574059A CN201410680568.2A CN201410680568A CN105574059A CN 105574059 A CN105574059 A CN 105574059A CN 201410680568 A CN201410680568 A CN 201410680568A CN 105574059 A CN105574059 A CN 105574059A
Authority
CN
China
Prior art keywords
image
unique point
index code
processor
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410680568.2A
Other languages
English (en)
Inventor
曾易聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN105574059A publication Critical patent/CN105574059A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于产生一图像的一交互索引码图的电子计算装置及其方法。电子计算装置包含一数据库及与数据库电性连接的一处理器。数据库储存多个参考图像。处理器用以设定一图像的至少一特征,并根据该至少一特征自该多个参考图像中以一匹配算法挑选出至少一候选参考图像,且为该至少一候选参考图像进行定位转换而成为至少一转换后候选参考图像,以及根据该至少一转换后候选参考图像所对应的至少一交互索引码图产生该图像的一特定交互索引码图,以使得一显示器根据一使用者指令利用该特定交互索引码图及一边信息执行一对应操作。

Description

用于产生一图像的一交互索引码图的电子计算装置及其方法
技术领域
本发明是关于一种用于产生图像的交互索引码图的电子计算装置及其方法。更具体而言,本发明主要是根据参考图像的交互索引码图为一图像建立一交互索引码图,当使用者透过电子显示观看该图像时,可以透过该交互索引码图进一步获得与该图像相关的信息。
背景技术
由于信息科技的进步,信息的应用面向也越来越广,其中一种对图像应用的方式,即为将图像标记相应的信息。
惟该相应的信息的取得,通常需要使用者点选指定按钮、或利用搜索引擎进行该相应信息的检索,惟若需使用者点选指定按钮,会增加使用者的使用不便,利用搜索引擎进行该相应信息的检索,仅能以文字为之。若利用搜索引擎进行图像检索,通常只能获得该图像的整体信息,而无法针对该图像的细部内容获得信息。
另外,先前技术有透过增强现实(AugmentedReality;AR)的方式辨识图像的内容。惟此需透过图像辨识技术,将使计算复杂化,增加电子计算装置的计算耗能,并且仅能以近物图像为核心,而无法针对全景图像进行辨识。
当然,透过人工注记图像上的信息也是一种习知技术,然而,透过人工的方式最为耗时费工,欠缺效率。
有鉴于此,如何提供一种为图像自动产生交互信息的方式,并且具有低计算复杂度的优点,仍是本领域亟待解决的课题。
发明内容
本发明的目的在于提供一种电子计算装置及其方法。其提供了一种自动产生一图像的一交互索引码图的方法,该交互索引码图作为使用者与该图像交互的信息。
为达上述目的,本发明揭露一种用于产生一图像的一交互索引码图的电子计算装置,其包含一数据库及一处理器。该数据库用以储存多个参考图像。该电子计算装置包含一数据库及与该数据库电性连接的一处理器。该数据库储存多个参考图像。处理器用以设定一图像的至少一特征,并根据该至少一特征自该多个参考图像中以一匹配算法挑选出至少一候选参考图像,且为该至少一候选参考图像进行定位转换而成为至少一转换后候选参考图像,以及根据该至少一转换后候选参考图像所对应的至少一交互索引码图产生该图像的一特定交互索引码图,使得一显示器根据一使用者指令利用该特定交互索引码图及一边信息执行一对应操作。
为达上述目的,本发明更揭露一种用于上述电子计算装置的一种交互索引码图产生方法,该电子计算装置包含一数据库及与该数据库电性连接的一处理器,该数据库用以储存多个参考图像,该交互索引码图产生方法包含下列步骤:令该处理器设定一图像的至少一特征,并根据该至少一特征自该多个参考图像中以一匹配算法挑选出至少一候选参考图像;令该处理器为该至少一候选参考图像进行定位转换而成为至少一转换后候选参考图像;以及令该处理器根据该至少一转换后候选参考图像所对应的至少一交互索引码图产生该图像的一特定交互索引码图,使得一显示器根据一使用者指令利用该特定交互索引码图及一边信息执行一对应操作。
在参阅图式及随后描述的实施方式后,所属技术领域具有通常知识者便可了解本发明的其它目的,以及本发明的技术手段及实施态样。
附图说明
图1A是为本发明第一实施例的电子计算装置的示意图;
图1B是为本发明第一实施例的图像及候选参考图像的示意图;
图1C是为本发明第一实施例的图像的特定交互索引码图的示意图;
图2A是为本发明第二实施例的交互索引码图产生方法的流程图;
图2B是为本发明第二实施例的交互索引码图产生方法的细部流程图;以及
图2C是为本发明第二实施例的交互索引码图产生方法的细部流程图。
符号说明
1电子计算装置
11数据库
13处理器
M图像
M1~M50参考图像
M1’~M5’转换后候选参考图像
C中心点
C1~C5中心点
(x,y)坐标
V垂直线
S100~S120步骤
具体实施方式
以下将透过实施例来解释本发明的内容。须说明者,本发明的实施例并非用以限制本发明须在如实施例所述的任何特定的环境、应用或特殊方式方能实施。因此,有关实施例的说明仅为阐释本发明的目的,而非用以限制本发明,且本案所请求的范围,以权利要求为准。除此之外,于以下实施例及附图中,与本发明非直接相关的组件已省略而未绘示,且以下附图式中各组件间的尺寸关是仅为求容易了解,非用以限制实际比例。
本发明的第一实施如图1A至1C所示,图1A是为一电子计算装置1的示意图,图1B是为图像M及候选参考图像的示意图,图1C是为图像M的特定交互索引码图。电子计算装置1可以是为一智能型手机、一平板电脑、一可携式电脑、一桌上型电脑、一共享服务器、一导览机设备、一照相机,或任何具有计算功能的电子设备。
电子计算装置1包含一数据库11及与数据库11电性连接的一处理器13。数据库11可以是一硬盘或任何电子储存设备,用以储存多个参考图像,且各该参考图像具有一交互索引码图(interactionindexmap)。处理器13可以是为一微处理器或任何电子处理设备。
于本实施例中,假设数据库11中共有50张参考图像M1~M50,此时,一使用者欲获得具有一特定交互索引码图(specificinteractionindexmap)的一图像M,则该使用者将无交互索引码图的图像M传送至电子计算装置1。若电子计算装置1为一照相机或其它图像撷取设备,则只需要拍摄以获得、或撷取图像M即可。接下来,将说明处理器13如何为图像M产生特定交互索引码图。
首先,处理器13以一匹配算法自多个参考图像(referenceimage)M1~M50中挑选出至少一候选参考图像(candidatereferenceimage)。
该匹配算法是由处理器13执行以下操作。首先,处理器13设定图像M具有n个特征点,每个特征点的一特征Vi,其中i={1,2,...n},以及设定该多个参考图像的一参考图像数量为M,且各该多个参考图像具有nj个特征点,每个特征点的一特征为Uj,k,其中j={1,2,...M}且k={1,2,...nj}。
接着,处理器13以下列方程1计算图像M的一第i个特征点与一第j张参考图像的一最相似的特征点,方程1表示为:
P i , j = arg max k = { 1,2 , . . . n j } | SIM ( V i , U j , k ) | - - - ( 1 )
其中,SIM(Vi,Uj,k)为图像M的第i个特征点与一第j张参考图像的一第k个特征点的一相似度。当处理器13判断SIM(Vi,Uj,Pi,j)不小于(大于或等于)一第一门槛值,则保留图像M的第i个特征点及保留图像M的第i个特征点与一第j张参考图像的第Pi,j个特征点的一相似关连;反之,则排除图像M的第i个特征点。
再来,处理器13计算图像M对第j张参考图像之间所保留的至少一特征点的一特征点数量,并且进一步判断该特征点数量不小于一第二门槛值,则将该第j张参考图像纳入该至少一候选参考图像中;反之,则不将该第j张参考图像纳入该至少一候选参考图像中。
需特别说明的是,该匹配算法不限于上述计算方式,其它可用于图像之间的匹配算法的方法皆在本发明的范畴之中。例如于其它实施态样中,方程1可修改为以求第j张参考图像的一最不相似的特征点,之后处理器13判断SIM(Vi,Uj,Pi,j)不大于(小于或等于)一第三门槛值,则累计该最不相似的特征点的一数量,若该数量大于一第四门槛值,则处理器13判断该第j张参考图像与图像M不相似,将该第j张参考图像自多个参考图像M1~M50中排除。于多个参考图像M1~M50皆代入之后,则可剔除不相似的参考图像,剩余的参考图像则可作为该至少一候选参考图像。
假设经由上述匹配算法,处理器13自该多个参考图像M1~M50中挑选参考图像M1~M5作为该至少一候选参考图像。在此,且将至少一候选参考图像M1~M5分别称为一第一候选参考图像M1、一第二候选参考图像M2、一第三候选参考图像M3、一第四候选参考图像M4及一第五候选参考图像M5。接着,处理器13以下列方程2针对第一至第五候选参考图像M1~M5进行定位转换:
u i v i = s cos θ 0 0 sin θ x j y j + f x f y - - - ( 2 )
其中,(ui,vi)为图像M的一第i个特征点的一第一坐标,(xj,yj)为第一至第五候选参考图像M1~M5的其中之一的该第j个特征的一第二坐标,s、θ、fx及fy分别为该第一坐标及该第二坐标间的一尺寸参数(scaleparameter)、一旋转角度参数(angleparameter)、一水平位移参数(horizontalshiftingparameter)以及一垂直位移参数(verticalshiftingparameter)。求出上述各参数后,处理器13为该第一至第五候选参考图像M1~M5上的所有像素,包含该至少一特征点所在的像素,进行定位转换。
如图1B所示,假设中心点C为图像M的第一个特征点,定位转换后,第一至第五候选参考图像M1~M5被转换为第一至第五转换后候选参考图像M1’~M5’,图像M中的中心点C则与第一至第五转换后候选参考图像M1’~M5’的各该第j个特征─中心点C1~C5,位于同一个垂直线V上。
须说明的是,于其它实施态样中,图像M及第一至第五候选参考图像M1~M5之间无该旋转角度参数θ,即θ=0的情形,则处理器13以下列方程3针对第一至第五候选参考图像M1~M5进行定位转换:
s f x f y = x 1 2 + y 1 2 x 1 y 1 x 2 2 + y 2 2 x 2 y 2 . . . . . . . . . x N 2 + y N 2 x N y N - 1 x 1 u 1 + y 1 v 1 x 2 u 2 + y 2 v 2 . . . x N u N + y N v N - - - ( 3 )
为第一至第五候选参考图像M1~M5进行定位转换后,其交互索引码图亦会随之定位转换。
须先说明的是,交互索引码图需要一边信息(side-information)协助作业,该边信息用来纪录各索引码值所代表的信息。如下表1所示,本实施例的一边信息为一表格。
索引码值 属性 内容
1 文字 中心点
2 超链接 xxxxx
3 图像 *.jpg
4 视频 *.MP4
表格1
其中,表格1的内容可包括索引码值及各该索引码值所对应的属性以及内容。惟表格1仅为例示,并非限制。
接着,处理器13设定Ai为一第i个转换后候选参考图像(第一至第五转换后候选参考图像M1’~M5’的其中之一)的相应交互索引码图,Ai(x,y)为在该第i个转换后候选参考图像的相应交互索引码图上的一坐标(x,y)的一索引码值,B(x,y)为图像M在同为该坐标(x,y)的一索引码值。其中,坐标(x,y)为该第i个转换后候选参考图像的一像素(pixel)。则B(x,y)以下列方程4计算:
B ( x , y ) = arg max c = { 1,2 , . . . , L } p ( c ) - - - ( 4 )
其中,假设边信息内一索引码值类型总数量表示为L,各该索引码值表示为c,则p(c)为该索引码值的一累计数量。假设有m个候选参考图像,在坐标(x,y)上有m个索引码值。
例如,于本实施例中,同时以表1为例,共有4种索引码值(表1中分别有索引码值c分别为1、2、3及4)和5个(转换后)候选参考图像,即第一至第五转换后候选参考图像M1’~M5’,则L=4和m=5。假设中心点C1~C5上的索引码值(即c)分别为表格1中的1、2、1、3、1,则p(1)=3、p(2)=1、p(3)=1、p(4)=0,则索引码值为1的累计数量p(1)为3的数值最高,因此取c为1的值为B(x,y)。如此,图像M上的中心点C的相应索引码值为1。
惟本发明不限于此,于其它实施态样中,处理器13可以透过先将p(c)正规化,再比较其正规化后的累计数量后,取其最高的正规化后累计数值的相应索引码值作为B(x,y)的数值。
当然,在转换后候选参考图像上的每个像素的索引码值皆作为图像M上每个像素的索引码值参考,因此,图像M上的所有坐标皆索引码值,并与图像M上的中心点C的相应索引码值组成图像M的该特定交互索引码图。如图1C所示的图像M的该特定交互索引码图,其每一个框格表示图像M各该坐标上的像素,框格内的数值即为相应的索引码值。于本实施例中,第一至第五转换后候选参考图像M1’~M5’上无相应所引码值的像素预设数值为0,因此,若该图像M参考第一至第五转换后候选参考图像M1’~M5’后,也会出现某个或某些像素上的索引码值的累计数量p(0)=5的情形,此时0即为图像M的该某个或某些像素上的索引码值。
处理器13为图像M建立该特定交互索引码图之后,使用者即可使用一显示器(图未绘示),并透过一使用者指令,例如是移动一鼠标光标至图像M上对应索引码值上的一特定位置、或以手指轻触该特定位置(若该显示器为一触控屏幕)以产生一触控信号,此时,该显示器即根据该使用者指令利用该特定交互索引码图及该边信息执行一对应操作。
该对应操作,若对应所引码值为表格1中的数值1,则显示文字「中心点」,若为数值2,则根据该超级链接透过浏览器进行网络连结。其中,该显示器为电子计算装置1其中的一组件,并与处理器13电性连接;或者是独立于电子计算装置1的其它电子显示设备。
本发明的第二实施例如图2A、2B及2C所示。图2A其是为一交互索引码图产生方法的流程图,图2B及2C为该交互索引码图产生方法的细部流程图。本实施例所述的交互索引码图产生方法是用于一电子计算装置,例如:第一实施例的电子计算装置1。电子计算装置包含一数据库以及与该数据库电性连接的一处理器。该交互索引码图产生方法由该处理器所执行。
于本实施例中,假设该数据库中共有50张参考图像,此时,一使用者欲获得具有一特定交互索引码图的一图像,则该使用者将无交互索引码图的该图像传送至电子计算装置。若电子计算装置为一照相机或其它图像撷取设备,则只需要拍摄以获得、或撷取该图像即可。接下来,将说明该处理器如何为该图像产生该特定交互索引码图。
该交互索引码图产生方法首先执行步骤S100,令该处理器设定一图像的至少一特征,并根据该至少一特征自该多个参考图像中以一匹配算法挑选出至少一候选参考图像。
该匹配算法,首先由该处理器设定该图像具有n个特征点,每个特征点具有一长度的一特征Vi,其中i={1,2,...n},以及设定该多个参考图像的一参考图像数量为M,且各该多个参考图像具有nj个特征点,每个特征点的一特征为Uj,k,其中j={1,2,...M}且k={1,2,...nj}。
接着,该处理器以第一实施例的方程1计算该图像的一第i个特征点与一第j张参考图像的一最相似的特征点,并进一步判断是否保留图像的该第i个特征点及保留该图像的第i个特征点与一第j张参考图像的第Pi,j个特征点的一相似关连,以及判断该图像对该第j张参考图像之间所保留的至少一特征点的一特征点数量。该方程1的说明已如第一实施例所示,不另为赘述。
当然,该方程可修改为以求第j张参考图像的一最不相似的特征点,之后该处理器判断SIM(Vi,Uj,Pi,j)不大于(小于或等于)一第五门槛值,则累计该最不相似的特征点的一数量,若该数量大于一第六门槛值,则该处理器判断该第j张参考图像与该图像不相似,将该第j张参考图像自该多个参考图像中排除。于该多个参考图像皆代入之后,则可剔除不相似的参考图像,剩余的参考图像则可作为该至少一候选参考图像。
于本实施例中,假设经由上述匹配算法,该处理器自该多个参考图像中挑选出其中的五张参考图像作为至少一候选参考图像,分别为一第一候选参考图像、一第二候选参考图像、一第三候选参考图像、一第四候选参考图像及一第五候选参考图像。
接着,执行步骤S110,令该处理器为该至少一候选参考图像进行定位转换而成为至少一转换后候选参考图像。如图2B所示,步骤S110更包含步骤S110a、S110b及S110c。其中,于步骤S110a中,令该处理器搜集该图像的各该特征点的一坐标与该图像的各该特征点对应至该第一至第五候选参考图像上的相应特征点的一坐标,因此,该图像的该特征点的坐标的数量为至少一个。
于步骤S110b中,令该处理器计算该图像的各该特征点的相应坐标,与该图像的各该特征点对应至该第一至第五候选参考图像上的相应特征点的相应坐标的定位转换参数s、θ、fx及fy,s、θ、fx及fy分别为一尺寸参数、一旋转角度参数、一水平位移参数以及一垂直位移参数。
随后,于步骤S110c中,令该处理器利用该尺寸参数、该旋转角度参数、该水平位移参数以及该垂直位移参数,为该第一至第五候选参考图像分别进行定位转换。需说明的是,该处理器为该第一至第五候选参考图像上的所有像素,包含该至少一特征点所在的像素,进行定位转换。
一般而言,该处理器是利用如第一实施例的方程2进行定位转换。惟若该图像的各该特征点的相应坐标,与该图像的各该特征点对应至该第一至第五候选参考图像上的相应特征点的相应坐标的不具备无该旋转角度参数θ,即该旋转角度参数为零的情形,则该处理器利用方程3进行定位转换。
须说明的是,本领域的技术人员知晓如何进行上述步骤S110a~S110c,因此其细节不予赘述。
之后,执行步骤S120,令该处理器根据该至少一转换后候选参考图像所对应的至少一交互索引码图产生该图像的一特定交互索引码图,使得一显示器根据一使用者指令利用该特定交互索引码图及一边信息执行一对应操作。
进一步说明,如图2C所示,步骤S120更包含步骤S120a、S120b及S120c。于步骤S120a中,令该处理器计算在该图像的各该像素的相应坐标上计算同一坐标上位于该至少一候选参考图像的各该索引码值的一累计数量。换言之,该处理器针对该图像上的每个像素进行索引码值的累加。
于步骤S120b中,令该处理器根据各该累计数量,藉由第一实施例的方程4以各该累计数量计算该图像的各该像素的相应坐标上的相应索引码值。
惟本发明不限于此,于其它实施态样中,该处理器可以透过先将第一实施例中的方程4的该累计数量p(c)正规化,再比较其正规化后的累计数量后,取其最高的正规化后累计数值的相应索引码值作为第一实施例的方程4的相应索引码值B(x,y)的数值。
于步骤s120c中,令该处理器集合于该图像上的各该像素的相应坐标上的相应索引码值并产生该图像的一特定交互索引码图。
须说明的是,本领域的技术人员知晓如何进行上述步骤S120a~S120c,因此其细节不予赘述。
该处理器为该图像建立该特定交互索引码图之后,使用者即可使用一显示器,并透过一使用者指令,例如是移动一鼠标光标至该图像上对应索引码值上的一特定位置、或以手指轻触该特定位置(若该显示器为一触控屏幕)以产生一触控信号,此时,该显示器即根据该使用者指令利用该特定交互索引码图及该边信息执行一对应操作。
须说明者,上述步骤S100至S120的执行方式如第一实施例中所定义,故在此不加赘述。
除了上述步骤,本实施例的交互索引码图产生方法亦能执行第一实施例所描述的所有操作及具备所对应的所有功能,且所属技术领域具有通常知识者可直接了解本实施例的交互索引码图产生方法如何基于第一实施例的揭露内容执行此等操作及具备此等功能,于此不再赘述。
再者,第二实施例所描述的交互索引码图产生方法可由一计算机程序产品加以实现。当一电子计算装置加载此计算机程序产品,并执行此计算机程序产品所包含的多个程序指令后,即可完成第二实施例所描述的交互索引码图产生方法。前述的计算机程序产品可为能于网络上传输的档案,亦可被储存于非挥发性计算机可读取记录媒体中,例如只读存储器(readonlymemory;ROM)、闪存盘、软盘、硬盘、光盘、磁带、可由网络存取的数据库或熟习此项技艺者所习知且具有相同功能的任何其它储存媒体中。
综上所述,本发明的电子计算装置、交互索引码图产生方法以及其计算机程序产品藉由图像匹配的方式,为图像自动产生交互索引码图,相较于先前技术对图像的信息注记方式,本发明可以降低计算复杂度,同时增进效率。
上述的实施例仅用来例举本发明的实施态样,以及阐释本发明的技术特征,并非用来限制本发明的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围,本发明的权利保护范围应以权利要求为准。

Claims (10)

1.一种电子计算装置,包含:
数据库,内储多个参考图像;以及
处理器,与该数据库电性连接,用以设定图像的至少一特征,并根据该至少一特征自该多个参考图像中以匹配算法挑选出至少一候选参考图像,并为该至少一候选参考图像进行定位转换而成为至少一转换后候选参考图像,以及根据该至少一转换后候选参考图像所对应的至少一交互索引码图产生该图像的特定交互索引码图,使得显示器根据使用者指令利用该特定交互索引码图及边信息执行对应操作。
2.如权利要求1所述的电子计算装置,其特征在于,该匹配算法包含下列操作:
由该处理器设定该图像具有n个特征点,且该图像的各该特征点的特征为Vi,其中i={1,2,...n};
由该处理器设定该多个参考图像的参考图像数量为M,且各该多个参考图像具有nj个特征点,各该多个参考图像的各该特征点的特征为Uj,k,其中j={1,2,...M}且k={1,2,...nj};
由该处理器计算该图像的第i个特征点与第j张参考图像的最相似的特征点为其中SIM(Vi,Uj,k)为该图像的各该特征点及该多个参考图像的各该参考图像的各该特征点的相似度;
由该处理器判断SIM(Vi,Uj,k)不小于第一门槛值,并保留该图像的该第i个特征点及保留该图像的该第i个特征点与该第j个参考图像的该第Pi,j个特征点的相似关连;以及
由该处理器计算该图像对该第j张参考图像之间所保留的至少一特征点的特征点数量,并判断该特征点数量不小于第二门槛值,则将该第j张参考图像纳入该至少一候选参考图像。
3.如权利要求1所述的电子计算装置,其特征在于,该处理器以下列方程为该至少一候选参考图像进行定位转换:
u i v i = s cos θ 0 0 sin θ x j y j + f x f y ;
其中,(ui,vi)为该图像的第i个特征点的第一坐标,(xj,yj)为该至少一候选参考图像的其中之一的第j个特征的第二坐标,s、θ、fx及fy分别为该第一坐标及该第二坐标的尺寸参数、旋转角度参数、水平位移参数以及垂直位移参数。
4.如权利要求1所述的电子计算装置,其特征在于,该处理器以下列方程为该至少一候选参考图像进行定位转换:
s f x f y = x 1 2 + y 1 2 x 1 y 1 x 2 2 + y 2 2 x 2 y 2 . . . . . . . . . x N 2 + y N 2 x N y N - 1 x 1 u 1 + y 1 v 1 x 2 u 2 + y 2 v 2 . . . x N u N + y N v N
其中,(ui,vi)为该图像的第i个特征点的第一坐标,(xj,yj)为该至少一候选参考图像的其中之一的第j个特征的第二坐标,s、fx及fy分别为该第一坐标及该第二坐标的尺寸参数、水平位移参数以及垂直位移参数。
5.如权利要求1所述的电子计算装置,其特征在于,该处理器是藉由下列方程为该图像产生该特定交互索引码图:
B ( x , y ) = arg max c { 1,2 , . . . , L } p ( c ) ;
其中该B(x,y)为该特定交互索引码图上坐标的相应索引码值,(x,y)为该坐标,L为索引码值类型总数量,c为至少一转换后候选参考图像于该坐标上的索引码值,p(c)为该索引码值的累计数量。
6.一种交互索引码图产生方法,用于电子计算装置,该电子计算装置包含数据库及与该数据库电性连接的处理器,该数据库用以储存多个参考图像,该交互索引码图产生方法包含下列步骤:
令该处理器设定图像的至少一特征,并根据该至少一特征自该多个参考图像中以匹配算法挑选出至少一候选参考图像;
令该处理器为该至少一候选参考图像进行定位转换而成为至少一转换后候选参考图像;以及
令该处理器根据该至少一转换后候选参考图像所对应的至少一交互索引码图产生该图像的特定交互索引码图,使得显示器根据使用者指令利用该特定交互索引码图及边信息执行对应操作。
7.如权利要求6所述的交互索引码图产生方法,其特征在于,该匹配算法更包含下列步骤:
令该处理器设定该图像具有n个特征点,且该图像的各该特征点的特征为Vi,其中i={1,2,...n};
令该处理器设定该多个参考图像的参考图像数量为M,且各该多个参考图像具有nj个特征点,各该多个参考图像的各该特征点的特征为Uj,k,其中j={1,2,...M}且k={1,2,...nj};
令该处理器计算该图像的第i个特征点与第j张参考图像的最相似的特征点为其中SIM(Vi,Uj,k)为该图像的各该特征点及该多个参考图像的各该参考图像的各该特征点的相似度;
令该处理器判断不小于第一门槛值,并保留该图像的该第i个特征点及保留该图像的该第i个特征点与该第j个参考图像的该第Pi,j个特征点的相似关连;以及
令该处理器计算该图像对该第j张参考图像之间所保留的至少一特征点的特征点数量,并判断该特征点数量不小于第二门槛值,则将该第j张参考图像纳入该至少一候选参考图像。
8.如权利要求6所述的交互索引码图产生方法,其特征在于,该处理器以下列方程为该至少一候选参考图像进行定位转换:
u i v i = s cos θ 0 0 sin θ x j y j + f x f y ;
其中,(ui,vi)为该图像的第i个特征点的第一坐标,(xj,yj)为该至少一候选参考图像的其中之一的第j个特征的第二坐标,s、θ、fx及fy分别为该第一坐标及该第二坐标间的尺寸参数、旋转角度参数、水平位移参数以及垂直位移参数。
9.如权利要求6所述的交互索引码图产生方法,其特征在于,该处理器以下列方程为该至少一候选参考图像进行定位转换:
s f x f y = x 1 2 + y 1 2 x 1 y 1 x 2 2 + y 2 2 x 2 y 2 . . . . . . . . . x N 2 + y N 2 x N y N - 1 x 1 u 1 + y 1 v 1 x 2 u 2 + y 2 v 2 . . . x N u N + y N v N
其中,(ui,vi)为该图像的第i个特征点的第一坐标,(xj,yj)为该至少一候选参考图像的其中之一的第j个特征的第二坐标,s、fx及fy分别为该第一坐标及该第二坐标的尺寸参数、水平位移参数以及垂直位移参数。
10.如权利要求6所述的交互索引码图产生方法,其特征在于,该处理器是藉由下列方程为该图像产生该特定交互索引码图:
B ( x , y ) = arg max c { 1,2 , . . . , L } p ( c ) ;
其中该B(x,y)为该特定交互索引码图上坐标的相应索引码值,(x,y)为该坐标,L为索引码值类型总数量,c为至少一转换后候选参考图像于该坐标上的索引码值,p(c)为该索引码值的累计数量。
CN201410680568.2A 2014-11-07 2014-11-24 用于产生一图像的一交互索引码图的电子计算装置及其方法 Pending CN105574059A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103138690 2014-11-07
TW103138690A TWI571753B (zh) 2014-11-07 2014-11-07 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品

Publications (1)

Publication Number Publication Date
CN105574059A true CN105574059A (zh) 2016-05-11

Family

ID=52349597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410680568.2A Pending CN105574059A (zh) 2014-11-07 2014-11-24 用于产生一图像的一交互索引码图的电子计算装置及其方法

Country Status (4)

Country Link
US (1) US9524303B2 (zh)
CN (1) CN105574059A (zh)
GB (1) GB2532091A (zh)
TW (1) TWI571753B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965687B (zh) * 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
CN1926575A (zh) * 2004-03-03 2007-03-07 日本电气株式会社 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序
JP2009077241A (ja) * 2007-09-21 2009-04-09 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
TW200922325A (en) * 2007-08-24 2009-05-16 Sony Corp Image processing device, dynamic image reproduction device, and processing method and program in them
TW201128421A (en) * 2009-11-02 2011-08-16 Microsoft Corp Content-based image search

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251637B1 (en) * 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
JP4813707B2 (ja) * 2001-09-28 2011-11-09 本田技研工業株式会社 燃料電池スタック
US7912827B2 (en) * 2004-12-02 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for searching text-based media content
US7836050B2 (en) * 2006-01-25 2010-11-16 Microsoft Corporation Ranking content based on relevance and quality
TWI403912B (zh) 2006-06-08 2013-08-01 Univ Nat Chiao Tung 圖像檢索之方法及系統
US8631012B2 (en) * 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
JP5445787B2 (ja) * 2008-03-06 2014-03-19 日本電気株式会社 属性抽出方法、システム及びプログラム
TWI425372B (zh) * 2009-01-15 2014-02-01 Hon Hai Prec Ind Co Ltd 圖片搜索系統及方法
US9411830B2 (en) * 2011-11-24 2016-08-09 Microsoft Technology Licensing, Llc Interactive multi-modal image search
CN103207879B (zh) * 2012-01-17 2016-03-30 阿里巴巴集团控股有限公司 图像索引的生成方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
CN1926575A (zh) * 2004-03-03 2007-03-07 日本电气株式会社 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序
TW200922325A (en) * 2007-08-24 2009-05-16 Sony Corp Image processing device, dynamic image reproduction device, and processing method and program in them
JP2009077241A (ja) * 2007-09-21 2009-04-09 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
TW201128421A (en) * 2009-11-02 2011-08-16 Microsoft Corp Content-based image search

Also Published As

Publication number Publication date
GB201421138D0 (en) 2015-01-14
GB2532091A (en) 2016-05-11
TWI571753B (zh) 2017-02-21
TW201617937A (zh) 2016-05-16
US20160132531A1 (en) 2016-05-12
US9524303B2 (en) 2016-12-20

Similar Documents

Publication Publication Date Title
CN103578125B (zh) 图像处理设备和图像处理方法
US9311756B2 (en) Image group processing and visualization
US20080226174A1 (en) Image Organization
WO2009152390A2 (en) Automatic image annotation using semantic distance learning
US9424280B2 (en) Organizing media items based on metadata similarities
CN112651406B (zh) 一种深度感知和多模态自动融合的rgb-d显著性目标检测方法
CN111179419A (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
US10275501B2 (en) System and method for multi-dimensional data representation of objects
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN112509046A (zh) 一种弱监督的卷积神经网络图像目标定位方法
CN108562867A (zh) 一种基于聚类的指纹定位方法及装置
CN108537825A (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN105574059A (zh) 用于产生一图像的一交互索引码图的电子计算装置及其方法
CN105718471A (zh) 用户偏好建模方法、系统及用户偏好评估方法、系统
CN112395508A (zh) 一种人工智能人才职位推荐系统及其处理方法
CN113867850A (zh) 数据处理方法、装置、设备和存储介质
WO2022110492A1 (zh) 指静脉身份识别方法、装置、计算机设备和存储介质
CN106469437B (zh) 图像处理方法和图像处理装置
CN111125395B (zh) 一种基于双分支深度学习的cad图纸检索方法及系统
CN113191208A (zh) 一种用于遥感图像实例分割的特征提取方法和计算机设备
Schmid et al. A taxonomy of attribute scoring functions
CN104615614B (zh) 获取可伸缩全局特征描述子的方法
CN113626609B (zh) 电力计量知识图谱构建方法、装置、设备和存储介质
WO2023098487A1 (zh) 目标检测方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160511

WD01 Invention patent application deemed withdrawn after publication