CN102016909A - 图像检索装置以及图像检索方法 - Google Patents

图像检索装置以及图像检索方法 Download PDF

Info

Publication number
CN102016909A
CN102016909A CN200980114967XA CN200980114967A CN102016909A CN 102016909 A CN102016909 A CN 102016909A CN 200980114967X A CN200980114967X A CN 200980114967XA CN 200980114967 A CN200980114967 A CN 200980114967A CN 102016909 A CN102016909 A CN 102016909A
Authority
CN
China
Prior art keywords
image
interpolation
degree
association
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980114967XA
Other languages
English (en)
Inventor
高田和丰
水谷研治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102016909A publication Critical patent/CN102016909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

提供一种图像检索装置,其能够从大量被蓄积的图像中比较容易地检索用户想要内插的图像。其中包括:内插范围算出部(103),将包括第一拍摄位置和第二拍摄位置的场所范围作为内插范围来算出,所述第一拍摄位置是第一内插对象图像被拍摄的位置,所述第二拍摄位置是第二内插对象图像被拍摄的位置;内插图像候补获得部(104),从多个图像中获得拍摄位置在内插范围以内的图像,以作为候补图像;以及内插图像选择部(106),所述第一拍摄位置与所述第二拍摄位置之间的移动速度越快,就从所述候补图像中选择被拍摄物距离越大的图像,所述被拍摄物距离是指,图像在被拍摄时的摄影装置与被拍摄物之间的距离。

Description

图像检索装置以及图像检索方法
技术领域
本发明涉及一种图像检索装置以及图像检索方法,从大量存储的图像内容数据中,检索用于对用户所拍摄的图像内容数据的拍摄位置之间进行内插的图像内容数据。
背景技术
在去旅行时会出现用户的注意力集中于照片的拍摄而不能充分享受旅行的快乐的情况。另外,在用户到旅游景点去旅行的情况下,大多数的旅行者都会在类似的场所拍摄类似的风景。实际上,在互联网上所提供的照片共享服务中,会发现与自己拍摄的照片的构图几乎相同的照片。因此,针对自己拍摄的照片,通过对照片共享服务中的照片进行内插,来简单地制作纪念影集,这样,用户可以不必拍摄所有的照片,就能够记录旅行中的回忆。
用户在制作纪念影集时,若想利用照片共享服务来检索想要内插的照片,则用户需要自己输入关键字并进行检索。图像内容数据的特征与动态图像内容数据或声音内容数据不同,存在的内容数据数量多到不能便览的程度。例如,在有代表性的几个照片共享服务中,用户在仅输入“冲绳”这一关键词并进行检索的情况下,能够检索到10万张以上的照片。从这种大量的照片中,用户为了仅选择作为纪念而想要记录的照片,则需要在监视器等中将照片筛选到能够便览的数量。即用户为了筛选照片需要将多个关键词组合起来输出。要想对每个纪念照片进行这种输入操作以及选择操作等,对于用户来说操作负担会变得非常大。
对于这样的问题,提出了事先准备被蓄积到服务器的旅游景点的照片,来使用户简单地制作纪念影集的方法(例如,参照专利文献1)。在专利文献1所记载的方法中,利用被设置在旅游景点的各个照片拍摄地点的标签阅读器,用户读取被事先蓄积在该地点的高质量的照片。这样,用户可以不必亲自拍摄所有的照片,就能够简便地制作纪念影集。
(现有技术)
专利文献
专利文献1日本特开2007-213216号公报
但是,在用户利用步行以外的方法移动的情况下,不能走近到照片拍摄地点来获得想要内插的照片。因此,在专利文献1所记载的方法中所存在的问题是,用户不能从拍摄了自己在移动中看到的风景的照片中,将想要记录到影集的摄影内容的照片追加到影集的问题。
例如,在以往的方法中,用户在乘坐电车移动时,用户不能获得透过车窗看到的风景照片。并且,用户在开车或者骑自行车移动之时,则需要从汽车或者自行车上下来后,再去访问照片地点。因此,在以往的方法中,要想获得照片则会给用户带来很大的负担。
发明内容
因此,为了解决上述的课题,本发明的目的在于提供一种图像检索装置以及图像检索方法,用户可以不必走近到拍摄地点,就能够从大量存储的图像内容数据中,比较容易地检索到想要在用户所选择的图像内容数据的拍摄位置之间进行内插的图像。
为了解决上述的课题,本发明的一个实施方式所涉及的图像检索装置从多个图像中检索用于进行内插的内插图像,该内插图像被内插于至少两个内插对象图像分别被拍摄的位置之间,所述图像检索装置包括:内插范围算出部,将下述地理上场所的范围作为内插范围来算出,该地理上场所的范围包括第一拍摄位置和第二拍摄位置,所述第一拍摄位置是第一内插对象图像被拍摄的位置,所述第二拍摄位置是第二内插对象图像被拍摄的位置;内插图像候补获得部,从被存储在图像数据库的所述多个图像中获得拍摄位置在由所述内插范围算出部算出的内插范围之内的图像,以作为候补图像;以及内插图像选择部,所述第一拍摄位置以及所述第二拍摄位置之间的移动速度越快,就从所述候补图像中选择被拍摄物距离越大的图像,所述被拍摄物距离是指,图像在被拍摄时的摄影装置与被拍摄物之间的距离。
这样,用户可以不必走近到拍摄地点,就能够比较容易地从多个图像中检索到想要在用户自己所选择的图像的拍摄位置之间进行内插的图像。并且,由于能够按照用户的移动速度仅获得所需要的图像,因此能够检索到适合于用户的内插图像。例如,若通过该图像检索装置被检索到的内插图像被输出,则用户能够利用别人拍摄的图像,比较容易地将拍摄了在自己所拍摄的两个图像被拍摄的期间中体验到的事物的图像,内插于自己所拍摄的两个图像的拍摄位置之间。
而且,在由该图像检索装置所检测到的内插图像被输出的情况下,则不必设置标签阅读器等特殊的设施,用户就能够获得内插图像。
通过本发明,用户可以不必走近到拍摄地点,就能够从存储了大量的图像内容数据中,比较容易地检索内插于用户拍摄的图像内容数据的拍摄位置之间的图像。
附图说明
图1是示出本发明的实施例1所涉及的图像检索装置的特征性功能构成的方框图。
图2示出了图像内容数据以及内容数据附属信息的一个例子。
图3示出了图像数据库的一个例子。
图4示出了输入部的画面例子。
图5示出了内插范围的一个例子。
图6是本发明的实施例1所涉及的图像检索装置执行整体处理的流程图。
图7是示出图6的步骤S105的详细处理流程的流程图。
图8示出了内插图像选择部的处理结果的一个例子。
图9示出了由输出部向输出媒介进行输出的画面的一个例子。
图10示出了由输出部向输出媒介进行输出的画面的一个例子。
图11是示出本发明的实施例2所涉及的图像检索装置的特征性的功能构成的方框图。
图12示出了关联度数据库的一个例子。
图13是示出被分层后的区域的概念图。
图14示出了本发明的实施例2所涉及的图像检索装置所执行的整体处理的流程图。
图15是示出图14的步骤S301的详细处理的流程的流程图。
图16示出了关联度数据库的一个例子。
图17是示出图14的步骤S301的其他的详细处理流程的流程图。
图18示出了被拍摄物距离数据库的一个例子。
图19示出了计算机的硬件构成的一个例子。
具体实施方式
以下利用附图对本发明的一个实施方式所涉及的图像检索装置进行详细说明。并且,为了进行简单地说明,在以下的实施例中将要说明的例子是,针对用户在去京都旅行时拍摄的图像,通过内插被蓄积在数据库的图像,来制作纪念影集。
(实施例1)
图1是示出本发明的实施例1所涉及的图像检索装置100的特征性功能构成的方框图。如图1所示,图像检索装置100是用于从多个图像中检索内插图像的装置。在此,内插图像是指,用于内插在两个图像各自的拍摄位置之间的图像。具体而言,内插图像是指,在两个图像各自的拍摄位置之间的位置上拍摄的图像。图像检索装置100包括:图像数据库101、输入部102、内插范围算出部103、内插图像候补获得部104、移动速度算出部105、内插图像选择部106、以及输出部107。
以下,对图1所示的图像检索装置100的各个构成要素按顺序进行详细说明。
图像数据库101是由例如硬盘、存储器等构成的记忆装置。图像数据库101是数据库,用于记忆成为检索对象的图像内容数据20,和与该图像内容数据20相对应的内容数据附属信息21。在此,图像内容数据20是指,被存储在电子媒介中的图像。并且,内容数据附属信息21是指,表示图像内容数据20的具体内容的信息。具体而言,内容数据附属信息21例如是,在拍摄图像时被附加到图像内容数据20的Exif(Exchangeable image file format)信息(拍摄日期时间、纬度以及经度信息等),以及用户在拍摄完毕后被附加到图像内容数据20的标签等图像信息。
图2示出了被记忆在图像数据库101中的图像内容数据20以及内容数据附属信息21的一个例子。如图2所示,图像数据库101除记忆有图像内容数据20以外,还记忆有内容数据附属信息21,该内容数据附属信息21包括:用户ID22、图像ID23、图像地址24、拍摄日期时间25、拍摄位置26、标签27、以及被拍摄物距离28。
用户ID22示出了用于识别拍摄了图像内容数据20的用户的信息。图像ID23示出了用于识别图像内容数据20的信息。图像地址24示出了被保存在图像内容数据20中的场所的信息。拍摄日期时间25示出了图像内容数据20被拍摄的日期时间。拍摄位置26示出了图像内容数据20被拍摄的位置。并且,图像内容数据20被拍摄的位置由经度和纬度来确定。
被拍摄物距离28示出了在图像内容数据20被拍摄时到被拍摄物的距离。被拍摄物距离28作为Exif信息,在拍摄时被自动赋予到图像。并且,在被拍摄物距离28没有被自动地赋予到图像的情况下,可以使利用以下的公式而算出的被拍摄物距离a被包含在内容数据附属信息21中。
(算式1)
a = f ( 1 + 1 M ) · · · ( 1 )
在此,a是被拍摄物距离,f是焦距,M是拍摄倍率。即,针对被记忆在图像数据库101中的图像内容数据中的、没有被赋予作为Exif信息的被拍摄物距离的图像内容数据,可以将被赋予在各个图像内容数据的Exif信息中所包含的拍摄倍率以及焦距代入到公式(1)而得到的被拍摄物距离a记忆到图像数据库101。
标签27表示示出图像内容数据20的内容的单词(关键词)。例如,用户在拍摄完毕后手动输入标签27。并且,图像检索装置100也可以将根据被包含在拍摄位置26中的纬度和经度的信息而获得的地区名称或建筑物名称,作为标签27来自动附加。并且,图像检索装置100也可以利用拍摄日期时间25和拍摄位置26以及天气数据库,将天气以及气温的信息作为标签27来自动附加。并且,图像检索装置100也可以将从图像内容数据20的像素值得到的图像代表色作为标签27来自动附加。并且,图像检索装置100也可以将通过进行图像内容数据20中的人物检测而检测到的人数等信息,作为标签27来自动附加。
图3示出了图像数据库101的一个例子。如图3所示,在图像数据库101中,为了便于检索,图2所示的各个内容附属信息21被列为表格。
并且,在本实施例中,虽然以图像数据库101被包括在图像检索装置100内为例来进行说明,不过,本发明所能够适用的图像检索装置并非受这种图像检索装置所限。例如,图像数据库101也可以在通过网络而与图像检索装置相连接的服务器上。
并且,内容附属信息21也可以被包括在图像内容数据20内。
并且,图像数据库101也可以将图像间的用户的移动速度移动速度是通过对两个内插对象图像的拍摄位置之间的距离,以这两个内插对象图像的拍摄时刻的差分时间来除而被算出的值。例如,图像内容数据20的移动速度可以通过以拍摄时刻的差分时间,来除该图像内容数据20与下一个被拍摄的图像内容数据的拍摄位置之间的距离而被算出的。并且,被算出的移动速度作为内容数据附属信息21而被记忆。像这样的图像间的移动速度可以被存储到图像数据库101。并且,如以后所述,也可以在每当接受来自用户的输入之时,移动速度算出部105算出移动速度。
在此,返回到图1所示的图像检索装置100的各个构成要素来进行说明。
输入部102将由用户例如通过键盘、鼠标等输入的信息从存储器等中获得。输入部103获得:用户拍摄的图像内容数据20和该图像的图像ID23、以及与这些图像内容数据20中的用户想要进行拍摄的图像位置之间的内插的多个内插对象图像以及与内插对象图像相关的信息(图像ID23等)。并且,输入部103将获得的内插对象图像的图像ID23,通知给内插范围算出部103以及移动速度算出部105。
图4示出了输入部102的画面例子。如图4所示,用户从自己拍摄的图像内容数据20中,选择多个想要进行被拍摄的图像的位置之间的内插的图像内容数据20(内插对象图像)。在这个例子中,用户选择在京都拍摄的六张图像内容数据20中的内插对象图像(清水寺)60和内插对象图像(银阁寺)61的图像内容数据20。即,输入部103接受了来自用户的对清水寺和银阁寺之间的场所的图像进行内插的请求。
另外,内插对象图像也可以不必由用户直接选择。例如,图像检索装置可以根据用户的嗜好等来推定内插对象图像。并且,例如通过用户输入游览过的场所,图像检索装置也可以利用被输入的场所的信息来选择内插对象图像。
内插范围算出部103例如由CPU(Central Processing Unit:中央处理单元)、存储了程序的存储器等构成。内插范围算出部103通过参照图像数据库101,获得由输入部102获得的与图像ID23相对应的拍摄位置26以及拍摄日期时间25。并且,内插范围算出部103利用获得的拍摄位置26以及拍摄日期时间25来算出内插范围52,该内插范围52示出成为内插对象的场所的范围。即,内插范围算出部103将包含有内插对象图像的拍摄位置26的场所的范围,作为内插范围来算出。并且,内插范围算出部103算出所述内插范围,以使得内插对象图像的拍摄日期时间25的经过时间越大,场所的范围就越大。而且,内插范围算出部103将算出的内插范围52通知给内插图像候补获得部106。关于具体的内插范围算出方法待后述。
图5示出了根据第一内插对象图像(清水寺)40和第二内插对象图像(银阁寺)41而被算出的内插范围52的一个例子。如图5所示,在算出矩形的内插范围52的情况下,内插范围算出部103将矩形的对角点的纬度以及经度作为范围信息50以及范围信息51来算出。
内插图像候补获得部104例如由CPU、存储有程序的存储器等构成。内插图像候补获得部104在由内插范围算出部103算出的内插范围中检测被拍摄的图像群。具体而言,内插图像候补获得部104通过参照图像数据库101,从而获得由内插范围算出部103算出的纬度、经度信息中所包含的图像群的图像ID。并且,内插图像候补获得部104将获得的图像ID通知给内插图像选择部106。
移动速度算出部105例如由CPU、存储有程序的存储器等构成。移动速度算出部105算出由输入部102获得的内插对象图像之间的用户的移动速度。具体而言,移动速度算出部105算出内插对象图像的拍摄位置26之间的直线距离。而且,移动速度算出部105从内插对象图像的拍摄日期25的差分算出时间。并且,移动速度算出部105通过以时间来除被算出的距离,从而算出移动速度。并且,移动速度算出部105将内插对象图像间的拍摄位置信息和算出的移动速度信息通知给内插图像选择部106。在此,移动速度是指,在内插对象图像是由同一个用户拍摄的情况下,该用户从一个的内插对象图像的拍摄位置移动到另一个内插对象图像的拍摄位置的速度。具体而言,移动速度是,通过将两个内插对象图像的拍摄位置之间的距离,以这两个内插对象图像的拍摄时刻的差分时间来除,而被算出的值。
内插图像候补获得部104例如由CPU、存储有程序的存储器等构成。内插图像选择部106利用从内插图像候补获得部104获得的图像ID、从移动速度算出部105获得的拍摄位置信息以及移动速度信息、图像数据库101,按照用户的移动速度,从内插图像候补获得部104所获得的图像群中仅选择需要的图像。即,内插图像选择部106从内插图像候补获得部104所获得的候补图像中选择内插图像,以使得在由移动速度算出部105算出的移动速度越大,就选择被拍摄物距离大的图像。具体而言,内插图像选择部106在移动速度在预先规定的阈值以下的情况下,选择从内插图像候补获得部104获得的所有图像群。另一方面,内插图像选择部106在移动速度比预先规定的阈值大的情况下,从内插图像候补获得部104获得的图像群中,仅选择被拍摄物距离在预先规定的阈值以上的照片(远景照片)。并且,内插图像选择部106将选择的图像的图像ID通知给输出部107。另外,内插图像选择部106也可以从图像数据库101获得,从输入部102获得的内插对象图像之间的用户的移动速度。并且,具体的内插图像选择方法待后述。
以下,对内插图像选择部106在移动速度越快就选择越大的被拍摄物距离的理由进行说明。在拍摄者的移动速度比较慢的情况下(步行等),拍摄者能够观赏既能够观赏近距离的被拍摄物,又能够观赏远距离的被拍摄物。因此,作为被拍摄物距离小的图像的近景图像和作为被拍摄物距离大的图像的远景图像这两种图像与拍摄者的所见相符,从而成为内插图像。另外,在移动速度比较快的情况下(汽车、电车等),拍摄者不能详细地观赏近距离的被拍摄物。因此,在移动速度快的情况下,近景图像与用户想要内插的图像不相符。因此,内插图像选择部106,在移动速度慢的情况下选择远景图像以及近景图像这两种图像,在移动速度快的情况下仅选择远景图像。这样,图像检索装置100能够仅检索与用户想要内插的图像相符的图像。
输出部107将由内插图像选择部106获得的图像内容数据20输出到输出媒介。输出媒介例如是液晶显示器、电视机等监视器。
以下,对具有以上这种构成的图像检索装置100的工作进行说明。
图6是图像检索装置100所执行的全体处理的流程图。
首先,输入部102接受用户所拍摄的图像内容数据20的图像ID23、以及这些图像ID23中的用户想要进行内插的多个内插对象图像的图像ID23。并且,输入部102将接受的内插对象图像的图像ID23通知给内插范围算出部103以及内插图像候补获得部104(步骤S101)。
接着,内插范围算出部103从图像数据库101获得,与从输入部102通知来的内插对象图像的图像ID23相对应的拍摄位置26以及拍摄日期时间25。并且,内插范围算出部103利用获得的拍摄位置26以及拍摄日期时间25,算出表示成为内插对象的场所的范围的内插范围。而且,内插范围算出部103将算出的内插范围通知给内插图像候补获得部104(步骤S102)。
具体而言,例如内插范围算出部103将以内插对象图像的拍摄位置26(纬度、经度)的重心作为中心,并且,以与从内插对象图像的拍摄日期时间25得到的经过时间成比例的距离为半径的范围,作为内插范围来算出。在此,经过时间是内插对象图像的拍摄日期时间25的差分。并且,在内插对象图像在3张以上的情况下,经过时间则为内插对象图像的拍摄日期时间25中的最旧的拍摄日期时间25与最新的拍摄日期时间25之间的差分。
并且,内插范围算出部103也可以从预先设定的多个范围中,选择包含有内插对象图像的拍摄位置26(纬度、经度)的范围,以作为内插范围。在这种情况下,内插范围算出部103也可以按照内插对象图像的经过时间,将与选择的范围相邻的范围追加到内插范围中。
并且,从内插对象图像的拍摄日期时间25得到的经过时间在规定的阈值以上的情况下,内插范围算出部103可以将图5所示的区域提示给用户,以便用户能够指定内插范围。据此,内插范围算出部103能够防止内插范围过大以及内插范围误计算的情况。
接着,内插图像候补获得部104检测由内插范围算出部103算出的内插范围中所包含的图像群,并通知给内插图像选择部106(步骤S103)。具体而言,内插图像候补获得部104通过参照图像数据库101,从而获得由内插范围算出部103算出的纬度、经度信息中所包含的图像群的图像ID。
接着,移动速度算出部105利用从输入部102获得的各个内插对象图像的拍摄日期时间25和拍摄位置26,算出各个内插对象图像之间的用户的移动速度,将内插对象图像的拍摄位置信息和算出的速度信息通知给内插图像选择部106(步骤S104)。
具体而言,例如移动速度算出部105从图4的第一内插对象图像(清水寺)40与第二内插对象图像(银阁寺)41的拍摄位置的差分,算出拍摄位置之间的距离x。另外,移动速度算出部105从拍摄时间的差分算出时间t。并且,移动速度算出部105通过以时间t来除距离,从而算出移动速度。
并且,移动速度算出部105也可以利用另外准备的地图数据库,进行连接拍摄位置之间的路径检索,算出沿着被检索的路径的距离x。据此,移动速度算出部105能够更正确地算出拍摄位置之间的距离。因此,移动速度算出部105能够提高移动速度的计算精确度,并且能够防止因移动速度的误计算而将不需要的内插图像提示给用户。
接着,内插图像选择部106根据从移动速度算出部105通知来的内插对象图像的拍摄位置信息和速度信息,将与移动速度相符的候补图像作为内插图像来选择,并通知给输出部107(步骤S105)。
最后,输出部107将由内插图像选择部106获得的内插图像输出到输出媒介(步骤S106)。
图7是示出内插图像选择部106进行内插图像选择处理(图6的步骤S105)的详细处理过程的流程图。以下,利用图7对与移动速度相符的图像选择方法进行说明。
首先,内插图像选择部106从内插图像候补获得部104获得候补图像的图像ID(步骤S201)。
接着,内插图像选择部106从移动速度算出部105获得用户的移动速度(步骤S202)。
接着,内插图像选择部106判别移动速度是否比预先规定的阈值大(步骤S203)。在此,在移动速度比阈值大的情况下(步骤S203的“是”),进入到步骤S204。另外,在移动速度为阈值以下的情况下(步骤S203的“否”),进入到步骤S205。并且,移动速度的阈值可以使用例如标准的人的极限步行速度(约12km/小时)。据此,内插图像选择部106能够判断出用户在内插对象图像的拍摄位置之间是否步行移动。
接着,内插图像选择部106从在步骤S201获得的候补图像中,仅选择被拍摄物距离在阈值以上的图像,以作为内插图像(步骤S204)。被拍摄物距离的阈值例如可以由设计者设定为“10m”如以上所述,在移动速度比较快的情况下(汽车、电车等),拍摄者不能详细地观赏近距离的被拍摄物。因此,在移动速度快的情况下,近景图像与用户想要内插的图像不相符。因此,内插图像选择部106在移动速度快的情况下,仅选择远景图像以作为内插图像,这样就能够仅选择与用户想要内插的图像相符的图像。
接着,内插图像选择部106选择在步骤S201获得的所有候补图像,以作为内插图像(步骤S205)。在拍摄者的移动速度慢的情况下(步行等),拍摄者能够观赏既能够观赏近距离的被拍摄物,又能够观赏远距离的被拍摄物。因此,近景图像与远景图像这两种图像与拍摄者所见相符,从而成为内插图像。因此,在移动速度慢的情况下,内插图像选择部106通过选择远景图像以及近景图像这双方的图像,从而能够选择与用户想要内插的图像相符的图像。
图8示出了通过进行步骤S201-S205的处理,按照移动速度而选择了不同的内插图像的内插图像选择部106的处理结果的一个例子。作为前提条件,用户选择图4所示的第一内插对象图像(清水寺)40,以及第二内插对象图像(银阁寺)41,内插范围是图5所示的内插范围52。并且,图像数据库101中存在的图像中的、拍摄位置包括在内插范围52以内的图像被视为候补图像80。此时,在步骤S203,在根据第一内插对象图像(清水寺)40以及第二内插对象图像(银阁寺)41的拍摄时刻而算出的用户的移动速度在阈值(12km/h)以下的情况下,作为内插图像(低速移动时)81,所有的候补图像被选择。即,在移动速度为“3km/h”的情况下,候补图像选择部106选择内插图像(低速移动时)81。另外,移动速度在阈值(12km/h)以上的情况下,作为内插图像(高速移动时)82,从候补图像中仅选择被拍摄物距离在阈值(20m)以上的图像。即,在移动速度为“30km/h”的情况下,内插图像选择部106选择内插图像(高速移动时)82。
通过执行以上步骤S201-S205的处理,内插图像选择部106仅选择与用户的移动速度相符的图像,以作为内插图像。
图9以及图10示出了由输出部107向输出媒介输出的画面的一个例子。如图9所示,输出部107可以将内插图像在地图上等进行一览显示。并且,如图10所示,输出部107也可以将内插图像以拍摄位置近的顺序来进行图片浏览形式的显示。
以上,通过执行图6所示的步骤S101至步骤S106的处理,从而图像检索装置100能够推定内插图像的摄影内容,因此,能够从存储的大量的图像中获得进行了与自己类似的拍摄的用户的图像,以作为内插图像。
即,本实施例所设计的图像检索装置100由于能够从图像数据库101所存储的图像中选择内插图像,因此用户可以不必走近到拍摄地点就能够获得内插图像。并且,图像检索装置100能够在图像的拍摄位置间的移动速度越大的情况下,就选择被拍摄物距离越大的图像,因此能够高效率地检索用户想要内插的图像。
(实施例2)
以下,对本发明的实施例2所涉及的图像检索装置200进行说明。
本实施例的图像检索装置200所具有的特点是,从候补图像中抽出与用户的拍摄嗜好关联性高的图像,并进行提示。在此,拍摄嗜好是指,喜好拍摄的被拍摄物、图像的色彩、视角等画质的嗜好。
上述的实施例1所涉及的图像检索装置100从拍摄位置在内插范围之内的图像中,获得与用户的移动速度相符的图像,将获得的所有图像作为内插图像来选择。但是,在这种方法中,在成为提示对象的内插图像能够被提示的数量超过容许数量的情况下,图像检索装置100则不能从提示对象的内插图像中提示更符合用户拍摄嗜好的内插图像。例如,设想的用户的情况是,用户拍摄了很多以“庭园”为主题的照片。作为内插图像有被拍摄物为“庭园”的图像和“建筑物”的图像,在图像检索装置只能提示其中一方的情况下,图像检索装置若不知道用户的嗜好,就未必能够提示“庭园”的图像。因此,图像检索装置若能够从用户拍摄的图像中知道用户的拍摄嗜好,则能够从提示对象的内插图像中优先提示与用户的拍摄嗜好关联性高的图像,从而能够提高用户的方便性。
因此,本实施例中的图像检索装置200利用用户所拍摄的图像的标签、拍摄时间、拍摄位置等,抽出与用户的拍摄嗜好关联性高的图像。并且,在本实施例中,与实施例1相同,将要举例说明的是,针对拍摄者在京都旅行时拍摄的图像,利用服务器上蓄积的图像进行内插,并制作值得纪念影集。
以下,首先参照图11,对图像检索装置的各个构成要素按顺序进行说明。
(实施例2的各个构成的说明)
图11是示出本发明的实施例2所涉及的图像检索装置200的特征性功能构成的方框图。在图11中,对于与图1相同的构成要素赋予相同的符号,并省略说明。图11所示的图像检索装置200与图1所示的图像检索装置100的不同之处是具有关联度数据库201和关联图像抽出部202,所述关联度数据库201中记忆有关联度,该关联度示出了被登记在图像数据库101的图像内容数据的内容数据附属信息之间的关联性的高度,所述关联图像抽出部202从内插图像选择部106所选择的内插图像中抽出与用户的拍摄嗜好关联性高的图像。
关联度数据库201例如是由硬盘、存储器等构成的记忆装置。关联度数据库201中记忆有表示图像内容数据20之间的关联性高度的关联度。具体而言,记忆有图像内容数据20的被拍摄物信息之间的关联度。在此,被拍摄物信息是指,表示用户所拍摄的图像内容数据20中的被拍摄物的单词(关键词)的信息。具体而言,被拍摄物信息例如是被设定在标签27的被拍摄物的名称、被拍摄物所存在的地区的名称、被拍摄物的数量、以及被拍摄物的颜色等。
并且,关联度数据库201中以区域为单位记忆有被拍摄物信息的关联度。具体而言,关联度数据库201中,按照各个区域记忆有属于该区域的图像内容数据20的标签27之间的关联度。在此,区域是指,根据都道府县、市区、村的方圆50km等而划分的场所。
并且,关联度例如可以利用非专利文献1中所记载的方法等来算出,该非专利文献1是“ドキユメント中に出現すゐ単語間の関連性に基づく連想検索のためのメタデ一タ空間生成方式(用于基于文献中所出现的单词间的关联性的联想检索的元数据空间生成方式)”(本间秀典等著,第16回数据工学研究会(DEWS2005),6A-o2、电子信息通信学会,2005)。
图12示出了京都市东山区以及左京区周边的区域的关联度数据库201的一个例子。在图12所示的关联度数据库201中,在行方向和列方向相交的位置上记忆有行方向的标签27和列方向的标签27的关联度。该关联度是根据属于各个区域的图像内容数据20的标签27之间的搭配而被算出的。
在此,图像内容数据20是否属于区域是根据该图像内容数据20的拍摄位置26来判断的。
并且,关联度数据库201中的区域也可以被分为多个阶层。例如,关联度数据库201也可以利用针对相同地点的小区域、中区域、以及大区域这三个阶段的区域来记忆标签27的关联度。
图13是示出分阶层后的区域的概念图。如图13所示,在关联度数据库201中,可以将属于京都府的图像内容数据20的标签27之间的关联度,作为与表示以都道府县为单位的区域的大区域130相对应的关联度来记忆。并且,在关联度数据库201中,也可以将属于京都市的图像内容数据20的标签27之间的关联度,作为与表示以市区、村为单位的区域的中区域131相对应的关联度来记忆。并且,在关联度数据库201中,也可以将属于下京区等的图像内容数据20的标签27之间的关联度,作为与表示以区为单位的小区域132相对应的关联度来记忆。这样,通过将关联度数据库201中的记忆关联度的区域分阶层,从而后述的关联度抽出部202能够按照用户想要内插图像的区域,来选择关联度数据库201中的获得关联度的区域。这样,关联图像抽出部202能够正确地推定用户想要内插的图像的摄影内容。
关联图像抽出部202例如由CPU、存储有程序的存储器等构成。关联图像抽出部202利用图像数据库101和关联度数据库201,从内插图像选择部106获得的内插图像中,抽出用户的拍摄图像和关联性高的关联图像,并将抽出的图像的图像ID通知给输出部107。另外,关于具体的关联图像抽出方法待后述。
关联图像被定义为,与被赋予在用户所拍摄的图像的图像信息关联性高的图像。例如,具有与赋予到用户所拍摄的图像的标签关联性高的标签的图像就是其中的一个例子。被赋予到图像的标签是表示被拍摄物以及关于被拍摄物的印象的信息。这些与被拍摄物有关的信息一致的图像可以说是与用户的嗜好关联性高的图像。
并且,与用户所拍摄的图像的拍摄条件(拍摄时间、色彩信息(白平衡、RGB比率)、光圈、被拍摄物距离、分辨率、F值、快门速度等图像信息)关联性高的图像也包括在关联图像内。与标签同样,拍摄条件中反映了用户的嗜好。因此,拍摄条件一致的图像也可以说是与用户的嗜好关联性高的图像。
以下,参照图14的流程图,对图11所示的图像检索装置200所进行的全体处理的流程进行说明。
图14是示出图像检索装置200所执行的全体处理的流程的流程图。并且,在图14中,对于与图6所示的实施例1的图像检索装置100的处理相同的处理步骤赋予相同的符号,并省略说明。
在本实施例的图像检索装置200中与实施例1的图像检索装置100的处理的不同之处是,利用关联度数据库201,抽出与用户拍摄的图像关联性高的图像的处理,所述关联度数据库201中记忆有被登记在图像数据库101的图像所具有的标签之间的关联度。但是,其他的处理与实施例1的图像检索装置100的处理相同。具体而言,在图14中,图像检索装置200所执行的步骤S101-S106的处理由于与图6所示的实施例1的图像检索装置100的处理相同,因此省略说明。
关联图像抽出部202利用图像数据库101和关联度数据库201,从由内插图像选择部106通知来的内插图像中,抽出与用户的拍摄嗜好关联性高的图像(步骤S301)。
图15是示出关联图像抽出部202进行的图像抽出处理(图14的步骤S301)的详细处理流程的流程图。以下,利用图15对抽出与用户的拍摄嗜好关联性高的图像的图像抽出方法进行说明。
首先,关联图像抽出部202从图像数据库101,获得被赋予到在步骤S101获得的内插对象图像(以下也称为用户所拍摄的图像或用户拍摄图像)的所有标签(步骤S401)。以下,将在步骤S401获得的标签称为标签集合A。
接着,关联图像抽出部202从内插图像选择部106获得内插图像的图像ID(步骤S402)。
接着,关联图像抽出部202从在步骤S402获得的内插图像的图像ID中选择一个图像ID(步骤S403)。即,关联图像抽出部202选择一个内插图像。
接着,关联图像抽出部202从图像数据库101获得,与在步骤S403获得的图像ID相对应的标签(步骤S404)。以下,将在步骤S404获得的标签称为标签集合B。
接着,关联图像抽出部202算出在步骤S401获得的标签集合A与在步骤S404获得的标签集合B的关联度(步骤S405)。在此,关联图像抽出部202通过参照标签集合A的拍摄位置26所属的区域的关联度数据库201,从而分别获得标签集合B相对于标签集合A中所包含的标签27的关联度。接着,关联图像抽出部202通过对获得的标签间的关联度进行合计,从而算出标签集合A与标签集合B的关联度。标签集合A是赋予在用户自己拍摄的图像上的标签,在这些标签中反映了用户对图像的嗜好以及对照片的视点。另外,标签集合B是由用户以外的人赋予到用户以外的人所拍摄的图像上的标签,在这些标签中反映了用户以外的人的嗜好和视点。即,包括与标签集合A关联度大的标签集合B的图像可以说是与用户的嗜好关联性高的图像。
图16示出了关联度数据库201的一个例子,在该关联度数据库201中记忆有在步骤S403选择的内插图像标签160(“平安神宫”、“牌坊”以及“红色”(标签集合B))与在步骤S401获得的拍摄图像标签161(“银阁寺”、“庭园”以及“清水寺”(标签集合A))之间的关联度。以下,利用图16对在步骤S405,关联图像抽出部202算出内插图像与用户拍摄图像之间的关联度的例子进行说明。
在图16中,标签集合B的“平安神宫”与标签集合A(“银阁寺”、“庭园”、“清水寺”)之间的关联度,能够通过对“平安神宫”与标签集合A的各个标签之间的关联度(斜线区域133)进行相加来算出。在图16所示的例子中,“平安神宫”与标签集合A之间的关联度成为0.0+0.3+0.1=0.4。同样,“牌坊”与标签集合A的关联度成为0.5,“红色”与标签集合A的关联度成为0.5。在此,若使各个算出的关联度相加,则成为0.4+0.5+0.5=1.4,该值是图像(在步骤S403被选择的内插图像)与在步骤S101获得的内插对象图像之间的关联度的值。这样,用户拍摄图像与内插图像之间的关联度可以通过对被赋予在两个图像的标签之间的所有关联度相加来算出,上述的被赋予在两个图像的标签之间的关联度是关联图像抽出部202通过参照关联度数据库201而得到的。
接着,关联图像抽出部202将在步骤S405算出的关联度与在步骤S403选择的内插图像的图像ID一起存储到图像ID-关联度列表(步骤S406)。
接着,关联图像抽出部202判断在步骤S402获得的内插图像是否在步骤S403都被选择(步骤S407)。
在此,在所有的内插图像都被选择的情况下(步骤S407的“是”),关联图像抽出部202从内插图像-关联度列表中抽出关联度高的图像,直到能够输出的最大数量为止(步骤S408)。即,在内插图像-关联度列表中,以关联度大的顺序来排列内插图像的情况下,关联图像抽出部202抽出的内插图像的关联度在与能够输出的最大数量相同的顺序出现的内插图像的关联度以上。在此,能够输出的最大数量是指,由输出媒介的记忆容量或显示区域等决定的、输出部107能够输出的图像的数量。
另一方面,在所有的内插图像没有被选择的情况下(步骤S407的“否”),关联图像抽出部202重复从步骤S403至S406的处理。
以上,通过执行步骤S401至S408的处理,从而关联图像抽出部202能够从由内插图像选择部106获得的内插图像中,抽出与用户的拍摄嗜好关联性高的内插图像。
以上,通过执行步骤S101-步骤S106、以及步骤S301的处理,即使在由内插图像选择部106选择的内插图像的数量超过能够提示的数量的情况下,图像检索装置200也能够优先提示与用户的拍摄嗜好关联性高的图像。
即,本实施例所涉及的图像检索装置200通过参照存储有被拍摄物信息之间的关联度的关联度数据库,能够抽出内插对象图像与被拍摄物的关联性高的内插图像,因此能够以更高地效率来检索用户想要内插的图像。而且,图像检索装置200通过参照按各个区域而记忆有关联度的关联度数据库,能够获得对应于内插对象图像的拍摄位置的关联度,因此能够以更高地效率来检索用户想要内插的图像。
并且,也可以在步骤S301,关联图像抽出部202利用图像数据库101,从内插图像选择部106所通知的内插图像中,抽出与用户所拍摄的图像(由输入部102获得的图像)的拍摄条件关联性(以下称为类似度)高的图像。用户的拍摄嗜好中反映了被拍摄物以外的拍摄条件。在此,拍摄条件是指,色彩信息(白平衡、RGB比率)、光圈、被拍摄物距离、分辨率、F值、快门速度等拍摄时被自动赋予在图像的拍摄参数。
图17示出了由关联图像抽出部202抽出与用户想要拍摄的图像的拍摄条件类似度高的图像的处理流程的流程图。以下,利用图17对抽出与用户的拍摄条件关联性高的图像的图像抽出方法进行说明。
首先,关联图像抽出部202通过参照图像数据库101,获得被赋予在用户想要拍摄的图像(在步骤S101获得的图像)的拍摄参数(步骤S501)。拍摄参数是指,色彩信息(白平衡、RGB比率)、光圈、被拍摄物距离、分辨率、F值、快门速度等在拍摄时被自动附加在各个图像上的信息。
接着,关联图像抽出部202分别算出在步骤S501获得的拍摄参数的代表值(P1)(步骤S502)。代表值是指,各个参数中的所有图像的平均值、中值或众数。
接着,关联图像抽出部202获得由内插图像选择部106选择的内插图像(步骤S503)。
接着,关联图像抽出部202从在步骤S503获得的内插图像中选择一张图像(步骤S504)。
接着,关联图像抽出部202通过参照图像数据库101,获得在步骤S504获得的内插图像的拍摄参数(P2)(步骤S505)。
之后,关联图像抽出部202利用在步骤S502算出的拍摄参数的代表值(P1)和在步骤S505获得的拍摄参数(P2),算出用户拍摄图像的拍摄参数与选择的内插图像的类似度e(步骤S506)。类似度e例如可以利用以下的公式(2)来算出。
(算式2)
e = Σ i = 0 n | P 2 i - P 1 i P 1 i | · · · ( 2 )
在此,n表示进行比较的拍摄参数的种类数,P1i表示P1的第i个拍摄参数,P2i表示P2的第i个拍摄参数。从公式(2)可知,利用P1的参数值来对P1、P2的各个参数的差分值进行正规化后的值的总和,作为类似度e而被算出。因此,类似度e的值越接近于0,用户拍摄图像与在步骤S504选择的内插图像的拍摄参数就越类似。即,类似度e越接近于0,在步骤S101获得的图像与在步骤S504选择的内插图像的拍摄条件的关联性就越高。
接着,关联图像抽出部202对在步骤S504选择的内插图像与在步骤S506算出的类似度的组合进行列表,并记忆(步骤S507)。
接着,关联图像抽出部202针对在步骤S503获得的内插图像,判断是否在步骤S504都被选择(步骤S508)。图像检索装置200,在都被选择的情况下(步骤S508的“是”),从而进入步骤S509,在没有都被选择的情况下(步骤S508的“否”),进入到步骤S504。
接着,关联图像抽出部202通过参照在步骤S507记忆的内插图像与类似度的列表,从而抽出能够输出的数量的类似度高的图像(步骤S509)。
通过执行以上的步骤S501-S509的处理,关联图像抽出部202能够从内插图像选择部106获得的内插图像中,抽出与用户的拍摄条件关联性高的内插图像。
即,由于图像检索装置200能够抽出与内插对象图像的拍摄条件关联性高的内插图像,因此能够以更高地效率检测用户想要内插的图像。
以上对本发明的一个实施例所涉及的图像检索装置,根据实施例进行说明。但是本发明并非受这些实施例所限。在不超出本发明的主旨的范围内,在本实施例的基础上的本领域技术人员所能够想到的各种变形,以及对不同的实施例中的构成要素进行的组合而构成的实施方式均包括在本发明的范围内。
例如,在上述实施例中,图像检索装置100和200虽然具备了图像数据库101、输入部102、移动速度算出部105以及输出部107等,不过也可以不具备这些功能部。
在这种情况下,内插范围算出部103可以通过网络等从外部的装置等中,获得多个内插对象图像(包括第一图像以及第二图像)和与各个内插对象图像有关的信息(包括第一信息以及第二信息)。并且,内插图像候补获得部104以及内插图像选择部106可以通过网络,来参照服务器等所具备的图像数据库。而且,内插图像选择部106可以从图像数据库,或者与各个内插对象图像有关的信息等中获得各个内插对象图像的拍摄位置之间的移动速度。据此,图像检索装置即使不具备移动速度算出部105等,也能够在用户不走近到拍摄地点的情况下,比较容易地从多个图像中,检索想要在用户所选择的图像的拍摄位置之间进行内插的图像。
并且,在上述的实施例所涉及的图像检索装置中,是通过将移动速度与预先规定的阈值进行比较,来决定被拍摄物距离的阈值的,不过本发明所涉及的图像检索装置并非受限于这种图像检索装置。例如,本发明的一个实施例所涉及的图像检索装置可以通过参照被拍摄物距离数据库来决定被拍摄物距离的阈值,所述被拍摄物距离数据库中记忆有存储了移动速度与被拍摄物距离之间的关系的表。
图18示出了被拍摄物距离数据库的一个例子。如图18所示,在被拍摄物距离数据库中存储有针对移动速度的被拍摄物距离的阈值。例如,在移动速度为“20km/h”的情况下,图像检索装置选择被拍摄物距离为“10m”以上的图像,以作为内插图像。在此,在被拍摄物距离数据库中不存在相同的移动速度的情况下,图像检索装置可以利用相对于被拍摄物距离数据库中所存储的最接近的值的移动速度的被拍摄物距离的阈值。并且,在本发明的一个实施例所涉及的图像检索装置中,也可以取代被拍摄物距离数据库,而利用移动速度与被拍摄物距离之间的关系所示的数式来决定被拍摄物距离的阈值。
并且,在上述的实施例2所涉及的图像检索装置中,关联图像抽出部是从内插图像选择部所选择的内插图像中抽出图像的,不过本发明所涉及的图像检索装置并非受限于这种图像检索装置。例如,在本发明的一个实施例所涉及的图像检索装置中,关联图像抽出部也可以从候补图像中抽出图像。并且,内插图像选择部也可以从关联图像抽出部所抽出的图像中选择内插图像。
并且,在上述的实施例中,被拍摄物距离虽然被包括在内容数据附属信息21中,不过也可以是由内插图像选择部106利用公式(1)来算出被拍摄物距离。
并且,本发明不仅可以作为执行以上这种图像检索装置的特征性构成要素所进行的处理的图像检索方法来实现,而且可以作为使图19所示的计算机执行这种方法的程序来实现。并且,这样的程序是能够通过CD-ROM等记录媒体、互联网等传输媒体来分发的。
图19示出了计算机的硬盘构成的一个例子。用于从多个图像中检索内插图像的程序例如被记忆在作为计算机能够读取的介质的CD-ROM515中,通过CD-ROM装置514而被读出。并且,例如用于从多个图像中检索内插图像的程序可以通过有线或无限网络、或者广播等而被传送。
计算机500包括:CPU(Central Processing Unit:中央处理单元)501、ROM(Read Only Memory:只读存储器)502、RAM(Random Access Memory:随机存取存储器)503、硬磁盘504、以及通信接口505等。
CPU501执行通过CD-ROM装置514而被读出的程序、或者执行通过通信接口505接收的程序。具体而言,CPU501将通过CD-ROM装置514而被读出的程序、或者通过通信接口505接收的程序,扩展到RAM503。并且,CPU501执行被扩展到RAM503的程序中被编码的各个命令。
ROM502是记忆计算机500在工作时所必需的程序以及数据的读取专用存储器。RAM503在CPU501执行程序时,作为工作区而被使用。具体而言,RAM503例如临时记忆程序执行时的参数的数据。硬盘504记忆程序、数据等。
通信接口505通过网络与其他的计算机进行通信。总线506使CPU501、ROM502、RAM503、硬盘504、通信接口505、显示器511、键盘512、鼠标513以及CD-ROM相互连接。
以上所述的本发明的一个实施例所涉及的图像检索装置可以作为能够从大量存储的图像内容数据中,比较容易地检索用户想要内插的图像的图像检索装置来利用。
例如,本发明的一个实施例所涉及的图像检索装置能够作为从网络上等记忆有大量的图像数据的数据库中检索用户想要内插的图像,并自动制作纪念影集的装置来利用。
并且,在以往的方法中,由于需要在所有的旅游地的照片拍摄地点设置标签阅读器,因此会出现需要较大的基础设施成本的问题。例如,像在京都、冲绳等有很多拍摄地点的旅游场所的情况下,需要花费在各个地点设置标签阅读器的成本。并且,在维修保养被设置的多个标签阅读器时也需要花费成本。
对此,若利用上述的实施例所记载的图像检索装置,则不需要设置特殊的基础设施就能够达到同样的效果。
本发明能够作为一种图像检索装置来利用,这种图像检索装置能够从大量被存储的图像内容数据中,输出用于在用户所拍摄的图像内容数据的拍摄位置之间进行内插的图像内容数据。
符号说明
20  图像内容数据
21  内容数据附属信息
22  用户ID
23  图像ID
24  图像地址
25  拍摄日期时间
26  拍摄位置
27  标签
28  被拍摄物距离
60  第一内插对象图像(清水寺)
61  第二内插对象图像(银阁寺)
50  范围信息
51  范围信息
72  内插范围
80  候补图像
81  内插图像(低速移动时)
82  内插图像(高速移动时)
100,200  图像检索装置
101  图像数据库
103  入力部
104  内插范围算出部
106  内插图像候补获得部
105  移动速度算出部
108  内插图像选择部
109  输出部
130  大区域
131  中区域
132  小区域
133  斜线区域
160  内插图像标签
161  拍摄图像标签
102,201  关联度数据库
202  关联图像抽出部

Claims (10)

1.一种图像检索装置,从多个图像中检索用于进行内插的内插图像,该内插图像被内插于至少两个内插对象图像分别被拍摄的位置之间,所述图像检索装置包括:
内插范围算出部,将下述地理上场所的范围作为内插范围来算出,该地理上场所的范围包括第一拍摄位置和第二拍摄位置,所述第一拍摄位置是第一内插对象图像被拍摄的位置,所述第二拍摄位置是第二内插对象图像被拍摄的位置;
内插图像候补获得部,从被存储在图像数据库的所述多个图像中获得拍摄位置在由所述内插范围算出部算出的内插范围之内的图像,以作为候补图像;以及
内插图像选择部,所述第一拍摄位置与所述第二拍摄位置之间的移动速度越快,就从所述候补图像中选择被拍摄物距离越大的图像,所述被拍摄物距离是指,图像在被拍摄时的摄影装置与被拍摄物之间的距离。
2.如权利要求1所述的图像检索装置,
该图像检索装置进一步包括移动速度算出部,该移动速度算出部利用所述第一拍摄位置与所述第二拍摄位置之间的距离,和所述第一内插对象图像被拍摄的日期时间与所述第二内插对象图像被拍摄的日期时间之间的差分时间,算出所述第一拍摄位置与所述第二拍摄位置之间的移动速度;
所述内插图像选择部,由所述移动速度算出部算出的移动速度越大,就选择被拍摄物距离越大的图像。
3.如权利要求1所述的图像检索装置,
该图像检索装置进一步包括关联图像抽出部,该关联图像抽出部获得第一关联度和第二关联度,并抽出由获得的第一关联度以及第二关联度所示的关联性的高度成为规定阈值以上的所述内插图像,所述第一关联度是,由所述内插图像选择部选择的内插图像与所述第一内插对象图像之间的关联度,所述第二关联度是,由所述内插图像选择部选择的内插图像与所述第二内插对象图像之间的关联度;
所述关联度示出附属信息之间的关联性的高度,所述附属信息是附属于图像的信息。
4.如权利要求3所述的图像检索装置,
该图像检索装置进一步包括关联度数据库,在该关联度数据库中记忆有与被拍摄物有关的关键词之间的关联度;
所述关联图像抽出部,通过参照所述关联度数据库,将从所述内插图像得到的与被拍摄物有关的关键词与从所述第一内插对象图像得到的与被拍摄物有关的关键词之间的关联度,作为所述第一关联度来获得,并将从所述内插图像得到的与被拍摄物有关的关键词与从所述第二内插对象图像得到的与被拍摄物有关的关键词之间的关联度,作为所述第二关联度来获得。
5.如权利要求4所述的图像检索装置,
在所述关联度数据库中,按照各个示出规定范围的场所的区域,记忆有所述关联度;
所述关联图像抽出部,将与包含所述第一内插对象图像的拍摄位置的区域相对应的关联度,作为所述第一关联度来获得,将与包含所述第二内插对象图像的拍摄位置的区域相对应的关联度,作为所述第二关联度来获得。
6.如权利要求3所述的图像检索装置,
所述关联图像抽出部,将所述内插图像被拍摄时的拍摄条件与所述第一内插对象图像被拍摄时的拍摄条件之间的关联度,作为所述第一关联度来获得,将所述内插图像被拍摄时的拍摄条件与所述第二内插对象图像被拍摄时的拍摄条件之间的关联度,作为所述第二关联度来获得。
7.如权利要求1所述的图像检索装置,
所述内插图像选择部,在所述第一拍摄位置与所述第二拍摄位置之间的移动速度比预先规定的第一阈值大的情况下,将被拍摄物距离在预先规定的第二阈值以上的所述候补图像,作为内插图像来选择。
8.如权利要求1所述的图像检索装置,
所述内插范围算出部算出所述内插范围,以使得所述第一内插对象图像被拍摄的日期时间与所述第二内插对象图像被拍摄的日期时间的差分时间越大,场所的范围就越大。
9.一种图像检索方法,由计算机从多个图像中检索用于进行内插的内插图像,该内插图像被内插于至少两个内插对象图像分别被拍摄的位置之间,该图像检索方法包括:
内插范围算出步骤,将下述地理上场所的范围作为内插范围来算出,该地理上场所的范围包括第一拍摄位置和第二拍摄位置,所述第一拍摄位置是第一内插对象图像被拍摄的位置,所述第二拍摄位置是第二内插对象图像被拍摄的位置;
内插图像候补获得步骤,从被存储在图像数据库的所述多个图像中获得拍摄位置在由所述内插范围算出步骤算出的内插范围之内的图像,以作为候补图像;以及
内插图像选择步骤,所述第一拍摄位置与所述第二拍摄位置之间的移动速度越快,就从所述候补图像中选择被拍摄物距离越大的图像,所述被拍摄物距离是指,图像在被拍摄时的摄影装置与被拍摄物之间的距离。
10.一种程序,从多个图像中检索用于进行内插的内插图像,该内插图像被内插于至少两个内插对象图像分别被拍摄的位置之间,该程序使计算机执行以下步骤:
内插范围算出步骤,将下述地理上场所的范围作为内插范围来算出,该地理上场所的范围包括第一拍摄位置和第二拍摄位置,所述第一拍摄位置是第一内插对象图像被拍摄的位置,所述第二拍摄位置是第二内插对象图像被拍摄的位置;
内插图像候补获得步骤,从被存储在图像数据库的所述多个图像中获得拍摄位置在由所述内插范围算出步骤算出的内插范围之内的图像,以作为候补图像;以及
内插图像选择步骤,所述第一拍摄位置与所述第二拍摄位置之间的移动速度越快,就从所述候补图像中选择被拍摄物距离越大的图像,所述被拍摄物距离是指,图像在被拍摄时的摄影装置与被拍摄物之间的距离。
CN200980114967XA 2008-12-19 2009-11-05 图像检索装置以及图像检索方法 Pending CN102016909A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008324700 2008-12-19
JP2008-324700 2008-12-19
PCT/JP2009/005866 WO2010070804A1 (ja) 2008-12-19 2009-11-05 画像検索装置及び画像検索方法

Publications (1)

Publication Number Publication Date
CN102016909A true CN102016909A (zh) 2011-04-13

Family

ID=42268488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980114967XA Pending CN102016909A (zh) 2008-12-19 2009-11-05 图像检索装置以及图像检索方法

Country Status (4)

Country Link
US (1) US8694515B2 (zh)
JP (1) JP4545828B2 (zh)
CN (1) CN102016909A (zh)
WO (1) WO2010070804A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248815A (zh) * 2012-02-07 2013-08-14 奥林巴斯映像株式会社 摄像装置、摄像方法
CN104536990A (zh) * 2014-12-10 2015-04-22 广东欧珀移动通信有限公司 一种图片显示方法及终端
CN108431800A (zh) * 2015-12-17 2018-08-21 株式会社日立制作所 图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法
CN110876075A (zh) * 2018-08-31 2020-03-10 丰田自动车株式会社 图像处理装置、图像处理系统以及车辆

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080320384A1 (en) * 2007-06-25 2008-12-25 Ramesh Nagarajan Automated addition of images to text
JP5202605B2 (ja) * 2010-11-11 2013-06-05 株式会社バッファロー コンテンツデータ管理装置、コンテンツデータ管理システム、コンテンツデータ管理プログラム、コンテンツデータ管理方法
JP5277230B2 (ja) * 2010-11-11 2013-08-28 株式会社バッファロー タグ情報管理装置、タグ情報管理システム、タグ情報管理プログラム、タグ情報管理方法
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
AU2011202609B2 (en) * 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
US9424765B2 (en) * 2011-09-20 2016-08-23 Sony Corporation Image processing apparatus, image processing method, and program
KR20140093957A (ko) * 2011-11-24 2014-07-29 마이크로소프트 코포레이션 상호작용 멀티-모달 이미지 검색 기법
RS57919B1 (sr) * 2011-12-16 2019-01-31 Poseida Therapeutics Inc Trpc4 modulatori za primenu u lečenju ili prevenciji bola
JP2013182332A (ja) * 2012-02-29 2013-09-12 Nikon Corp 画像表示プログラムおよび画像表示装置
JP6070307B2 (ja) * 2012-05-21 2017-02-01 株式会社リコー パターン抽出装置、画像投影装置、パターン抽出方法およびプログラム
JP6031924B2 (ja) * 2012-09-28 2016-11-24 オムロン株式会社 画像検索装置、画像検索方法、制御プログラムおよび記録媒体
KR101561628B1 (ko) * 2013-12-30 2015-10-20 주식회사 케이티 스마트 글래스의 영상 정보를 제공하는 검색 장치 및 검색 방법
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
WO2015170410A1 (ja) * 2014-05-09 2015-11-12 日立マクセル株式会社 映像再生装置、表示装置及び送信装置
US9177225B1 (en) 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
CN104866194B (zh) * 2015-05-21 2018-07-13 百度在线网络技术(北京)有限公司 图片搜索方法及装置
JP2019067076A (ja) * 2017-09-29 2019-04-25 劉謹銘 多重画像源の処理方法
CN110377791A (zh) * 2018-04-11 2019-10-25 刘谨铭 快速影像排序方法
DE102019200180A1 (de) 2018-07-25 2020-01-30 Audi Ag Filterelement für einen Partikelfilter, Abgaspartikelfilter, Verfahren zum Herstellen eines Filterelements sowie Verwendung eines Beschichtungsmaterials
CN110659376A (zh) * 2019-08-14 2020-01-07 浙江大华技术股份有限公司 图片查找方法、装置、计算机设备和存储介质
DE112021000927T5 (de) * 2020-01-29 2023-01-26 Uiarmor.Com Llc Systeme, Verfahren und Vorrichtungen für die Bildverarbeitung
US11158031B1 (en) 2021-05-24 2021-10-26 ReportsNow, Inc. Systems, methods, and devices for image processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021298A1 (en) * 2000-01-21 2002-02-21 Izumi Fukuda Entertainment apparatus, storage medium and object display method
US20020047798A1 (en) * 1999-06-25 2002-04-25 Timothy James Platt Image acquisition and retrieval system employing position data
CN1497968A (zh) * 2002-09-27 2004-05-19 ��ʿ��Ƭ��ʽ���� 相册制作方法及其装置以及程序
US20050182649A1 (en) * 2000-05-23 2005-08-18 Parulski Kenneth A. Method for providing customized photo products using images transmitted from a digital camera
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
CN101253537A (zh) * 2005-05-12 2008-08-27 富士胶片株式会社 影集制作装置、影集制作方法及程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282813A (ja) 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP3824137B2 (ja) * 2001-03-16 2006-09-20 日本電信電話株式会社 データ再生方法、データ再生装置、プログラムおよびその記録媒体
JP2003099434A (ja) 2001-09-25 2003-04-04 Sanyo Electric Co Ltd 電子アルバム装置
JP2004139576A (ja) 2002-09-27 2004-05-13 Fuji Photo Film Co Ltd アルバム作成装置および方法並びにプログラム
JP2004220420A (ja) * 2003-01-16 2004-08-05 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
JP2005128785A (ja) 2003-10-23 2005-05-19 Sony Corp 記録媒体及び電子アルバム作成装置
JP2006185242A (ja) 2004-12-28 2006-07-13 Fuji Photo Film Co Ltd 画像合成装置、画像合成プログラム、画像合成プログラム記憶媒体、および画像合成方法
JP4379409B2 (ja) * 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP4706844B2 (ja) 2006-02-08 2011-06-22 日本電気株式会社 アルバム作成システム、サーバー、アルバム作成方法およびプログラム
JP2007323315A (ja) 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 協調フィルタリング方法、協調フィルタリング装置、および協調フィルタリングプログラムならびにそのプログラムを記録した記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020047798A1 (en) * 1999-06-25 2002-04-25 Timothy James Platt Image acquisition and retrieval system employing position data
US20020021298A1 (en) * 2000-01-21 2002-02-21 Izumi Fukuda Entertainment apparatus, storage medium and object display method
US20050182649A1 (en) * 2000-05-23 2005-08-18 Parulski Kenneth A. Method for providing customized photo products using images transmitted from a digital camera
CN1497968A (zh) * 2002-09-27 2004-05-19 ��ʿ��Ƭ��ʽ���� 相册制作方法及其装置以及程序
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
CN101253537A (zh) * 2005-05-12 2008-08-27 富士胶片株式会社 影集制作装置、影集制作方法及程序

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248815A (zh) * 2012-02-07 2013-08-14 奥林巴斯映像株式会社 摄像装置、摄像方法
CN104536990A (zh) * 2014-12-10 2015-04-22 广东欧珀移动通信有限公司 一种图片显示方法及终端
CN108431800A (zh) * 2015-12-17 2018-08-21 株式会社日立制作所 图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法
CN110876075A (zh) * 2018-08-31 2020-03-10 丰田自动车株式会社 图像处理装置、图像处理系统以及车辆
CN110876075B (zh) * 2018-08-31 2022-04-19 丰田自动车株式会社 图像处理装置、图像处理系统以及车辆

Also Published As

Publication number Publication date
JPWO2010070804A1 (ja) 2012-05-24
WO2010070804A1 (ja) 2010-06-24
US20110022634A1 (en) 2011-01-27
US8694515B2 (en) 2014-04-08
JP4545828B2 (ja) 2010-09-15

Similar Documents

Publication Publication Date Title
CN102016909A (zh) 图像检索装置以及图像检索方法
CN102016841B (zh) 图像检索装置以及图像检索方法
US8200712B2 (en) System and method for generating a virtual tour on a display device
Beeharee et al. A natural wayfinding exploiting photos in pedestrian navigation systems
US7904483B2 (en) System and method for presenting geo-located objects
US8768625B2 (en) Personalized route generation
US20100171763A1 (en) Organizing Digital Images Based on Locations of Capture
US20100149399A1 (en) Image capturing apparatus, additional information providing server, and additional information filtering system
US20120268620A1 (en) Information providing apparatus, information providing method, and program
US20150213362A1 (en) Information processing apparatus, information processing method and program
JP2017016388A (ja) 地域アルバム生成サーバ及びその生成方法
JP2011137638A (ja) ナビゲーションシステム、観光スポット検出装置、ナビゲーション装置、観光スポット検出方法、ナビゲーション方法、観光スポット検出プログラム及びナビゲーションプログラム
JP6489636B2 (ja) 情報収集装置、交通量評価システム、案内設備、情報収集方法及びプログラム
JP5072464B2 (ja) 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100563085B1 (ko) 수치지도와 사진영상의 복합 디스플레이 방법
KR101461590B1 (ko) 위치 기반 콘텐츠 제공 방법
JP2010021885A (ja) 撮像装置及び撮像支援方法
JP2005233956A (ja) ナビゲーションシステムのゲストデータ管理方法と装置
JP7033112B2 (ja) コンテンツ制御装置、コンテンツ制御システム、コンテンツ制御方法、及びコンテンツ制御プログラム
JP2009139244A (ja) ナビゲーション装置及びナビゲーション方法
Chiang et al. Destination selection based on consensus-selected landmarks
CN110674425A (zh) 一种基于游行分享系统实现游记分享的方法
Li et al. An efficient approach to building image-based road network model
TW201413477A (zh) 數位影像命名方法及數位影像記錄裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110413