图像分类装置、方法和程序
技术领域
本发明涉及对由数字静止照相机、带有照相机的便携电话或者电影摄影机等摄影装置拍摄的静止图像或者活动图像的图像信息进行分类的图像分类装置、图像分类方法及其程序。
背景技术
近年来,数字静止照相机(以下简称为数字照相机)和带有照相机的便携电话等拍摄数字视频的面向个人的摄影装置迅速普及。在这样的摄影装置中,因为其存储容量不断增大,所以用户可以拍摄数量众多的图像,但是另一方面,难以在有限的时间内察看所有图像,实现可以有效地察看图像的视听方法成为课题。
为了解决这样的课题,提出了以下方法:利用附加在图像中的信息(所谓的中间信息)自动地将大量的图像分类为组,用户可以在该组单位中察看图像(例如:特开2003-58867号公报)。
该方法提取图像的拍摄时刻的信息,将横轴设为拍摄图像的时间带,纵轴设为在该时间带中拍摄的图像的张数来生成直方图,将拍摄张数为零的时刻设为边界,通过将边界前后的图像信息用不同的组管理来将其分类为组。
另外,作为其他的方法,提出根据拍摄图像的场所来对图像进行分组的方法(例如,特开平10-254746号公报)。
该方法在摄影装置上连接便携电话,取得与便携电话通信时的基站ID,按照拍摄时取得的不同的基站ID来对图像进行分组管理。
但是,在如前所述的现有技术中,存在用户有意以一个事件而拍摄的图像的分组和通过以往的方法分类的图像的分组不一定一致的课题。而且,在本说明书中,所谓事件,是指家庭聚会、节日、纪念活动或者旅行等作为用户主观概括的事件的知觉、认识的活动。
例如,即使在用户将数日的住宿旅行作为被称作“北海道旅行”的一个事件来分类的情况下,因为图像的拍摄实际上是分散在数日间进行的,所以例如在利用时间对图像进行了分类的情况下,存在图像被分类为多个组的问题。
进而,在利用拍摄场所的信息来对图像进行分类的情况下,例如,在参加了同一日在家和附近召开的多个事件的情况下,即使在用户将图像作为所谓“家庭聚会”和“镇内会议”的不同的事件进行分类时,仍存在当这些图像在相近的场所被拍摄时被分类为同一组的问题。
可以认为这些问题是由于用户的认知的倾向而引起的,即很多用户将在日常活动区域附近、在比较短的时间内、移动范围比较窄的活动认为是事件,将在远处、在比较长的时间内、移动范围比较宽的活动认为是一个事件。
发明内容
因此,本发明的目的是提供一种图像分类装置,对与用户认为是事件的事情对应的图像信息进行分类,使其更适当地与一个组对应。
本发明的图像分类装置,包括:图像信息输入部,输入包含拍摄图像的场所的位置信息的图像信息;基准距离计算部,利用所述位置信息,计算从成为基准的场所到拍摄所述图像的场所的基准距离;以及图像分类部,利用基于所述基准距离的分类条件,对所述图像进行分类。
按照这样的结构,用户利用将成为基准的场所作为基准的基准距离来对图像进行分类,所以可以将对应于用户认为是事件的事情,与适当的一个组对应。
而且,图像分类装置也可以是以下的结构:包括分类条件存储部,存储多个分类条件,以便在所述图像分类部对所述图像进行分类时使用,所述图像分类部在所述分类条件存储部中存储的多个分类条件中,利用与所述基准距离对应的分类条件对所述图像进行分类。
按照这样的结构,因为根据基准距离的差别来利用不同的分类条件对图像进行分类,例如,可以将旅行、附近的事情等对应于用户认为是事件的事情所对应的图像,与更适当的一个组对应。
而且,图像分类装置也可以是以下的结构:包括距离间隔计算部,根据所述位置信息,计算从所述图像的拍摄场所到拍摄所述图像的前一图像的图像拍摄场所的距离间隔,所述图像分类部根据所述基准距离和所述距离间隔,对所述图像进行分类。
按照这样的结构,因为利用拍摄图像的场所的距离间隔来对图像进行分类,所以可以根据用户的移动距离进行适当的图像的分类。
而且,图像分类装置也可以是以下的结构:所述分类条件是包含所述距离间隔的距离间隔阈值的分类条件,所述图像分类部根据所述基准距离的差别,利用不同的距离间隔阈值对所述图像进行分类。
按照这样的结构,因为可以根据基准距离,利用不同的距离间隔阈值对图像进行分类,所以例如旅行目的地则为长距离,附近则为短距离等,可以对应用户的移动距离进行详细的分类。
而且,图像分类装置也可以是以下的结构:所述图像信息具有表示拍摄所述图像的时刻的时间信息,所述图像分类装置包括时间间隔计算部,根据所述时间信息,计算拍摄所述图像的时刻和拍摄所述图像的前一图像的图像拍摄时刻的时间间隔,所述图像分类部根据所述基准距离和所述时间间隔,对所述图像进行分类。
按照这样的结构,因为利用拍摄图像的时刻的时间间隔对图像进行分类,所以可以根据用户的拍摄频度进行适当的图像分类。
而且,图像分类装置也可以是以下的结构:所述分类条件是包含所述时间间隔的时间间隔阈值的分类条件,所述图像分类部根据所述基准距离的差别,利用不同的时间间隔阈值对所述图像进行分类。
按照这样的结构,因为根据基准距离利用不同的时间间隔阈值对图像进行分类,所以例如在旅行目的地频繁拍摄,在附近偶尔拍摄等,可以根据用户的基准距离进行详细的分类。
而且,图像分类装置也可以是以下的结构:所述图像信息具有表示拍摄所述图像的时刻的时间信息,所述图像分类装置包括时间间隔计算部,根据所述时间信息,计算拍摄所述图像的时刻和拍摄所述图像的前一图像的图像拍摄时刻的时间间隔,所述图像分类部根据所述基准距离、所述距离间隔和所述时间间隔,对所述图像进行分类。
按照这样的结构,因为可以根据拍摄图像的时间间隔和距离间隔对图像进行分类,所以可以进行适应用户的拍摄频率和移动距离的分类。
而且,图像分类装置也可以是以下的结构:所述分类条件是包含所述时间间隔的时间间隔阈值以及所述距离间隔的距离间隔阈值的分类条件,所述图像分类部根据所述基准距离的差别,对所述图像利用不同的时间间隔阈值和距离间隔阈值进行分类。
按照这样的结构,因为根据基准距离,利用不同的时间间隔和距离间隔阈值对图像进行分类,所以可以进行例如在旅行目的地并且频繁的拍摄、或者在旅行目的地并且不是频繁拍摄等更详细的分级分类。
而且,也可以是以下的结构:图像分类装置包括:地图信息存储部,存储多个地图信息;代表位置计算部,对每一个由所述图像分类部分类的组,由包含于所述组中的图像的所述位置信息计算出代表位置;分布计算部,由包含于所述组中的图像的所述位置信息计算分布;以及注释生成部,根据所述代表位置和所述位置信息,从所述多个地图信息中选择适合所述组的地图信息,从而生成注释。
按照这样的结构,可以利用拍摄的代表位置和分布,对每一个分类图像的组赋予地标名、地域名、都道府县名或者地方名等适当的组名。
而且,也可以是所述图像分类装置包括从图像信息中提取位置信息的位置信息提取部的结构。
按照这样的结构,可以从图像信息中适当地提取位置信息,从而可以供基准距离的计算使用。
而且,也可以是所述图像分类装置包括根据所述图像分类部的图像分类结果输出所述图像的输出部的结构。
按照这样的结构,可以将图像适当地分类为组,根据其结果对每个组进行显示,所以用户可以汇总多个图像,从而迅速地视听。
其次,本发明的图像分类系统包括:对图像进行拍摄的图像拍摄装置;本发明的图像分类装置以及对从所述图像分类装置输出的所述图像进行显示的显示装置。
按照这样的结构,可以将图像拍摄装置拍摄的数量众多的图像适当地分类为组,将其结果显示在显示装置上,用户可以对每个组汇总图像,从而迅速地视听。
其次,本发明的图像分类方法,包括:输入至少包括图像和拍摄所述图像的场所的位置信息的图像信息的第一步骤;利用所述位置信息,计算从成为基准的场所到拍摄所述图像的场所的基准距离的第二步骤;以及根据所述基准距离,对所述图像进行分类的第三步骤。
按照这样的方法,用户利用将设为基准的场所作为基准的基准距离对图像进行分类,所以使用户识别为事件的事情所对应的图像适当地与一个组对应。
接着,本发明的程序使计算机执行以下步骤:输入至少包括图像和拍摄所述图像的场所的位置信息的图像信息的第一步骤;利用所述位置信息,计算从成为基准的场所到拍摄所述图像的场所的基准距离的第二步骤;以及
根据所述基准距离,对所述图像进行分类的第三步骤。
按照这样的程序或者记录了该程序的计算机可读取的记录媒体,利用用户制定的作为基准地点和拍摄场所的距离的基准距离对图像进行分类,所以可以使用户识别为事件的事情所对应的图像适当地与一个组对应。
而且,本发明的图像分类方法将从成为基准的场所到拍摄图像的场所的距离设为基准距离,将拍摄所述图像的场所包含于规定的基准距离范围内的大于或等于1个的图像的识别符记入对应于所述基准距离范围的列表中。
按照这样的方法,用户可以容易地对被分类为组的图像信息进行存取。
再有,还可以是以下方法:将从成为基准的场所到拍摄图像的场所的距离设为基准距离,将拍摄所述图像的场所包含于规定的基准距离范围内的大于或等于1个的图像的数据文件存入对应于所述基准距离范围的文件夹中。
按照该方法,用户可以容易地成批取出每个组的图像信息。
而且,也可以是以下方法,将从成为基准的场所到拍摄图像的场所的距离设为基准距离,所述图像分类装置将拍摄所述图像的场所包含于规定的基准距离范围内的大于或等于1个的图像可与其他图像区分地显示。
按照这样的方法,可以对用户容易理解地展示属于组的图像信息。
附图说明
图1是本发明的实施方式1中的图像分类系统的系统结构图。
图2是本发明的实施方式1中的图像信息的数据结构的示例图。
图3是本发明的实施方式1中的图像分类装置的方框图。
图4是本发明的实施方式1中的图像分类装置的流程图。
图5是本发明的实施方式1中的图像拍摄信息的示例图。
图6是本发明的实施方式2中的图像分类装置的方框图。
图7(a)和图7(b)是本发明的实施方式2的图像分类装置的流程图。
图8(a)是本发明的实施方式2的分类条件式的示例图,图8(b)是本发明的实施方式2的组管理表的示例图。
图9是表示本发明的实施方式2的时间和距离的关系的图。
图10是表示本发明的实施方式2的组分类结果的示例图。
图11是本发明的实施方式2的显示图像的示例图。
图12是本发明的实施方式3的图像分类装置的方框图。
图13是本发明的实施方式3的图像分类装置的流程图。
图14(a)是本发明的实施方式3的分类条件式的示例图,图14(b)是本发明的实施方式3的组管理表的示例图。
图15是表示本发明的实施方式3的经度和纬度的关系的图。
图16是本发明的实施方式3的组分类结果的示例图。
图17是本发明的实施方式4的图像分类装置的方框图。
图18是本发明的实施方式4的分类条件式的例示图。
图19是本发明的实施方式4的图像分类装置的流程图。
图20是本发明的实施方式4的组分类结果的例示图。
图21是本发明的实施方式5的图像分类装置的方框图。
图22是表示本发明的实施方式5的注释生成处理的流程图。
图23是表示本发明的实施方式5的经度和纬度的关系的图。
具体实施方式
以下,参照附图说明本发明的实施方式。
(实施方式1)
首先,对本发明的实施方式1的图像分类装置以及图像分类方法和程序进行说明。
在本发明的实施方式中,表示了图像分类装置与摄影装置和显示装置组合而构成图像分类系统的例子。
图1是本发明的实施方式1的图像分类系统的系统结构图。
如图1所示,本发明的实施方式中的图像分类系统30包括:拍摄图像的数字照相机和电影摄影机等摄影装置50;用后述的方法对摄影装置50拍摄的图像(静止图像或者活动图像)进行分类的图像分类装置1;以及显示由图像分类装置1分类的图像的显示装置60。
用户通过有线或者无线等公知的通信手段将摄影装置50连接到图像分类装置1,或者利用存储卡等的介质将拍摄的图像信息发送到图像分类装置1,从而图像分类装置1将图像信息适当地分类为每个事件,其结果可以在显示装置60上确认被分组的图像。
而且,本发明的实施方式1中的图像信息是指包括被拍摄的图像的像素数据和至少包含由用于指定拍摄图像的场所的GPS信息等得到的位置信息的信息。
图2是表示一例该图像信息的数据结构的图。
在图2所示的例子中,在图像信息的信头部存储拍摄图像的拍摄事件(年/月/日/时/分/秒)的时间信息,以及拍摄图像的拍摄场所(经度/纬度/高度)的位置信息(以下,将时间信息和位置信息合并记录为拍摄信息)。在信号部之后,作为像素时间部存储构成图像的每个像素的亮度等信息。作为这样的可以记录拍摄信息的规格,例如有Exif(Exchangeable Image File),作为图像信息,例如可以使用依据EXif的JPEG文件和MPEG文件等。
而且,本发明当然不限定图像信息中的时间信息和位置信息的顺序,以及信头部和图像数据部的顺序。而且,在本发明的实施方式1中,在图像信息中只要存储位置信息就可以,不包含时间信息的结构也可以。
接着,对本发明的实施方式1中的图像分类装置1的结构进行说明。图3是表示本发明的实施方式1的图像分类装置1的结构的方框图。
如图3所示,本发明的实施方式1中的图像分类装置1包括:位置信息提取部2,从由摄影装置50输入的图像信息中提取位置信息;基准距离计算部3,根据位置信息提取部2提取的位置信息,计算后述的基准距离的值;分类条件存储部4,存储用于对图像信息分类的分类条件;图像信息分类部5,根据基准距离计算部3计算出的基准距离的值,并根据分类条件存储部4中存储的分类条件对输入的图像信息进行分类;分类信息存储部6,存储由图像信息分类部5分类的图像信息的组ID等分类信息;以及输出部7,根据分类信息存储部6中存储的分类信息,将被分组的图像输出到显示装置60等。
而且,分类条件存储部4和分类信息存储部6可以从HDD等磁盘装置和存储卡等公知的存储部件中适当选择使用。而且,分类条件存储部4和分类信息存储部6的差别在于它们是表示各自的功能不同的存储器,可以通过各个不同的存储部件来实现,当然也可以在一个存储部件中实现分类条件存储部4和分类信息存储部6的功能。
而且,在本发明的实施方式中,所谓“对图像进行分类”是指对图像分配对应的组。具体来说,是指以下的情况:在对每个组预先准备的管理区域中,存储指定属于该组的图像信息的识别符信息或者表示图像信息的记录位置的链接信息,或者在对每个组预先准备的管理区域中,移动或复制图像信息,以及在图像信息的信头信息中存储表示组的识别信息等。
接着,对本发明的实施方式1中的图像分类装置1的动作概要进行说明。图4是表示本发明的实施方式1中的图像分类装置1的动作步骤的流程图。
首先,从摄影装置50向图像分类装置1的位置信息提取部2输入图像信息(S1)。
在位置信息提取部2中,从前述图像信息中提取位置信息(S2)。
在基准距离计算部3中,计算从成为预先确定的基准的场所到拍摄图像的拍摄场所的距离差的绝对值(以下,记为基准距离Ds)(S3)。
在图像信息分类部5中,根据预先存储在分类条件存储部4中的分类条件,对于发送来的图像信息,使组与其对应,进行图像信息的分类(S4)。
将图像信息与分类结果一起存储到分类信息存储部6,同时通过输出部7在显示装置60上以可对每个组进行区别的状态进行显示(S5)。
接着,以具体的图像信息为例,说明详细的处理过程。
图5是表示一例输入到本发明的实施方式1的图像分类装置1中拍摄信息的部分的图。如图5所示,在本发明的实施方式1的图像分类装置1中,说明从摄影装置50输入16张图像信息的情况。赋予各图像信息图像ID(这里作为一例,设为P1~P16)。例如,可知图像ID为P1的图像信息,是在2003年12月24日5时30分10秒,东经135度30分10秒,北纬45度10分3秒,高度30m的位置拍摄的。
在位置信息提取部2中,从前述图像信息中提取位置信息(S2)。对应前述的P1的图像信息,提取东经135度30分10秒,北纬45度10分3秒,高度30m的位置信息,将其送到基准距离计算部3。
在基准距离计算部3中,计算基准距离Ds(S3)。
这里,所谓基准距离Ds是成为预先确定的基准的地点(以下记为原点)和拍摄图像的地点(以下记为取得地点)的距离。
而且,在原点和取得地点为两个地点时,基准距离Ds不仅是在以经度和纬度表现的地图上连接两个地点的直线距离,也可以是以经度、纬度和高度表现的两个地点间的三维距离,也可以是在两个地点间移动时的路径(陆路、空路或者海路)的长度(路程),也可以是存在两个地点附近的地标(车站和建筑等成为标记的目标物)的地点间的距离。
而且,也可以考虑县、市、街道等某些具有范围的区域,对于分别存在上述的两个地点的两个区域,将区域中心间的直线距离设为基准距离。
而且,也可以使用“乘电车30分钟”等为了通过交通工具在上述的两个地点间移动所需要的时间来表示距离。在这样的情况下,与地图上的直线距离不同,因为包含换乘时间,可以表现摄影者感到的主观的远近,所以容易和摄影者认为的事件单位进一步一致。
该原点可以是用户任意设定,但在本发明的实施方式1中,将用户的家的场所设为原点进行说明。
这种用户的原点设定,可以通过用户从未图示的输入部输入原点来进行,也可以通过用户在拍摄了图像时,输入该图像是“在原点拍摄的图像”的信息来进行设定。
在基准距离计算部3中计算出的基准距离Ds的值被送到图像信息分类部5。
在图像信息分类部5中,根据预先存储在分类条件存储部4中的分类条件,对于被送来的图像,使组与其对应,从而进行图像的分类(S4)。
在本发明的实施方式1中,在分类条件存储部4中,为了根据基准距离Ds的大小的不同对图像进行分类,作为分类条件,预先准备基准距离阈值。例如,通过预先准备(5km、500km)的两个基准距离阈值,可以将图像信息分类为以下三个组:
0≤Ds≤5km→G1(表示附近的事件的组)
5km≤Ds≤500km→G2(表示国内旅行的组)
500≤Ds≤5000km→G3(表示出国旅行的组)
图像信息分类部5比较这样的分类条件和各图像信息的基准距离Ds,将图像信息分类为最合适的组。而且,这时,如果随着基准距离Ds变大,分配相同组的范围变大,则可以分类为适合用户实际的感觉的组。
这样,表示图像信息分别属于哪个组的分类信息被从图像信息分类部5送到分类信息存储部6并被存储(S5)。这时,可以是为了根据需要进行确认等,将图像分组并输出到外部的显示装置60等的结构。
这样,通过根据基准距离Ds对输入的图像信息进行分类的结构,可以进一步按照用户认识的事件来进行分类。
而且,通过按照图4所示的流程图记述程序并使计算机执行,可以如上述那样,按照用户认识的事件来进行图像的分类。而且,也可以预先将记述的程序存储在距记录介质中,使计算机读取并执行。
(实施方式2)
接着,对本发明的实施方式2中的图像分类装置和图像分类方法和程序进行说明。
图6是表示本发明的实施方式2中的图像分类装置21的结构的方框图。
如图6所示,本发明的实施方式2中的图像分类装置21与实施方式1中的图像分类装置1相比,不同点在于具有以下部件:图像存储部12,存储从摄影装置50发送的图像信息;时间信息提取部13,从图像信息的拍摄信息中提取时间信息;以及时间间隔计算部14,根据时间信息提取部13提取的时间信息,计算图像的拍摄时间和拍摄该图像前一个图像的图像拍摄时间的差分,即计算时间间隔。
因此,在图像信息分类部15中输入时间间隔和基准距离Ds的值。
而且,随着这样的结构的差别,图像信息分类部15的处理内容和图像存储部12中存储的分类条件也和实施方式1中说明的不同,对此在后叙述。
另外,在本发明的实施方式2的图像分类装置21中,对于与实施方式1中说明的图像分类装置1具有相同的功能的结构块赋予相同的标号并省略其说明。
图像存储部12存储单数或者复数由数字照相机或带有照相机的便携电话等摄影装置50拍摄的图像信息。在本发明的实施方式2中,假设在图像信息的信头部中至少包含具有拍摄图像的时间信息和表示拍摄的场所的位置信息的拍摄信息。
在本发明的实施方式中,设图像存储部12保持的数据是图像信息来进行说明。但是,其它种类的数据,例如活动图像数据、音乐数据或者声音数据等任何形式的数据都可以。
如实施方式1说明的那样,通过位置信息提取部2和基准距离计算部3,根据图像存储部12中存储的图像信息,计算前述的基准距离Ds。
时间信息提取部13从由图像存储部12送来的图像信息的信头部提取拍摄图像的时刻,即时间信息。
时间间隔计算部14计算之前拍摄的图像的拍摄时刻和应分类的图像的拍摄时刻的时间差的绝对值(以下记为时间间隔TT),并将其发送到图像信息分类部15。
条件存储部11,存储单个或者多个用于将图像分类为每个组的分类条件。在后面叙述分类条件式的细节,但其中至少包含与时间信息有关的条件和与位置信息有关的条件中的一个。
图像信息分类部15利用基准距离计算部3计算出的基准距离Ds和时间间隔计算部14计算出的时间间隔TT,从保持在条件存储部11中的分类条件式中取出最合适的分类条件式,根据分类条件式判断图像存储部12中记录的各个图像信息应该被分类到哪个组。当不存在应被分类的组时,重新生成组,将该图像信息分类到新生成的组中。
分类信息存储部6将各组和属于该组的各图像信息的图像存储部12中的存储位置(指针信息)相关联记录。除此之外,如已经叙述的那样,也可以是以下结构:例如准备与组对应的文件夹,从图像存储部12移动或者复制属于该组的图像信息并存储到分类信息存储部6。
而且,图像存储部12、分类条件存储部11或者分类信息存储部6是分别为非易失性的记录介质的硬盘、DVD媒体或者半导体存储卡等比较合适,但即使是用易失性的记录介质也可以实现。而且,在单一的存储部件中实现各个存储部的功能也可以。
接着,对本发明的实施方式2的图像分类装置21的动作概要进行说明。图7是表示本发明的实施方式2的图像分类装置21的动作步骤的流程图。
本发明的实施方式2的图像分类装置21中,摄影装置50拍摄的图像信息被作为文件预先保存在图像存储部12中,设该文件数被存储在变量pnum中。将这些图像信息分别区别为P1~Pnum。
首先,进行图像分类装置21的初始化(S11)。所谓初始化,是在计算基准距离Ds时,记入作为基准的原点的作业。这通常通过用户输入原点,或者通过输入设在应成为基准的地点(例如家中)等中拍摄的图像是在原点拍摄的图像的信息来进行。
接着,在计数组数的变量n中存储值=1(S12),在分类信息存储部6生成新组Gn(即组G1)。
作为图像信息循环A,将以下说明的步骤S14反复执行pnum次(S13)。这时,使用变量i作为循环计数器并在以下说明。
作为图像信息循环A的处理,首先,位置信息提取部2从图像信息Pi的信头部中取出位置信息。基准距离计算部3根据位置信息来计算基准距离Ds(S14)。
图像信息分类部15在对全部图像信息P1~Pnum进行了上述的图像信息循环A处理以后,将对各个图像信息计算的基准距离Ds中的最大值存储到变量Dsm中(S15)。
图像信息分类部15从分类条件存储部11中选择与最大值Dsm对应的分类条件式,决定应在分类中使用的分类式参数(S16)。而且,在本实施方式中,设选择了步骤S111~S116中所示的分类条件来进行说明。
接着,作为图像信息循环B,将后述的步骤S18~S19重复执行pnum次(S17)。而且,假设在图像信息循环B中,作为循环计数器也使用变量i来进行说明。
位置信息提取部2从图像信息Pi的信头部中提取位置信息,时间信息提取部13从图像信息Pi的信头部取出时间信息。基准距离计算部3计算基准距离Ds。而且,时间间隔计算部14计算时间间隔TT(S18)。
这里,所谓时间间隔TT是图像信息Pi的拍摄时间和这之前拍摄的图像信息Pi-1的拍摄时间的差的绝对值,但对于最初(i=1)执行的处理,设该时间间隔TT为0。
接着,图像信息分类部15按照从分类条件存储部11读入的分类条件式将图像信息Pi分类到组(S19)。利用图7(b)进一步说明处理的细节。
对于某图像信息Pi,如果其基准距离Ds大于或等于距离阈值Dth(例如离家比较远的距离),则在时间阈值ΔT中存储T1的值,除此之外(离家比较近),则在时间阈值ΔT中存储T2的值(S111~S113)。
接着,如果读入的时间间隔TT大于或等于时间阈值ΔT(S114),则在分类信息存储部6中生成新的组Gn+1,将图像信息Pi分类到该组Gn+1(S115)。
在步骤S114中,当时间间隔TT为达到时间阈值ΔT时,将图像信息Pi分类到已经存在的组Gn(S116),结束处理。
这里,对于本发明的实施方式2的图像分类装置的动作举出具体例进行进一步的说明。
存储在图像存储部12中的图像信息与前述的图2所示的情况相同,图像信息包括信头部和像素数据部。
如前所述,在信头部中存储包含位置信息和时间信息的拍摄信息。而且,在像素数据部中存储构成图像的各像素的像素值。通过读取图像信息的信头部,可以得知拍摄图像的时间和场所。
时间信息示出用“年/月/日/时/分/秒”表现按下快门的时刻的例子。而且,时间信息不限于该例,例如也可以是从基准时刻到拍摄时刻的经过时间。
拍摄场所的位置信息在本实施方式中示出将按下快门的拍摄场所表示为“纬度(度·分·秒)/经度(度·分·秒)/高度”的例子。而且,位置信息不限于该例,例如也可以是表示拍摄场所的住所、或者某个成为基准的地点与拍摄场所的相对位置关系的信息。
图8(a)是表示分类条件存储部11存储的一例分类条件式的图。
图8(a)所示的分类条件式保持单数或多数个具有“分类条件式ID”、“选择条件”、“分类式参数”的记录。
“分类条件式ID”是用于识别各记录的信息,因为管理上的要求而被赋予。
“选择条件”是用于从多个分类条件式中选择最适合图像信息Pi的式的条件,通过前述的基准记录Ds的最大值Dsm的值的差别来表示。
而“分类式参数”是在分类条件式中使用的参数信息,包括距离阈值Dth和时间阈值ΔT。
这里,以用户在一天内拍摄的16张图像信息为例来说明具体的动作。
这些图像信息被存储在图像存储部12中,按照拍摄的顺序设为图像信息P1~P16。原点设为用户家。
图9表示对于这样的图像信息,横轴设为拍摄图像的时刻,纵轴设为基准距离Ds的图。
如图9所示,设图像信息P1~P3是到家附近的公园散步而外出拍摄的,图像信息P4~P7是在家一边准备参观一边拍摄的,图像信息P8~P10是在旅行中一边参观A市一边拍摄的,这之后从A市移动到B市,图像信息P11~13是一边参观B市一边拍摄的,图像信息P14~P16是回家后拍摄的。
输入这16张图像信息,图像分类装置21进行前述的图7(a)所示的处理。
即,在步骤S12中,生成第一组G1,在步骤S13~S15中求出基准距离Ds的最大值Dsm。在该例中,设Dsm=22km。
在步骤S16中,从图8(a)所示那样的分类条件表的全部记录中选择在选择条件中包含了Dsm的记录,读入该分类式参数。即,在如图8(a)所示的例子中,因为图像信息P1~P16中的Dsm是22km,所以选择分类条件式ID为B1的分类条件式,读入分类式参数,即距离阈值Dth=20km,时间阈值T1=60分、T2=90分。
利用这些分类式参数执行步骤S19。
即,在各个图像信息Pi中,在基准距离Ds的值大于或等于距离阈值Dth时,利用时间阈值T2,在基准距离Ds的值未达到距离阈值Dth时,利用时间阈值T1来分类到组。
在上述的例子中,在未达到距离阈值Dth=20km的近距离拍摄的情况下(相当于图像信息P1~P7,P14~16),将图像信息分到以时间阈值T1=60分钟前后而不同的组中,另一方面,在大于或等于距离阈值Dth=20km的远距离拍摄的情况下(相当于图像信息P8~P13)将图像信息分为以以时间阈值T1=90分钟前后而不同的组中。
例如,图像信息P1和图像信息P2、图像信息P2和图像信息P3的时间间隔TT分别未达到60分钟,所以图像信息P1~P3被分类到相同的组G1,图像信息P3和图像信息P4的时间间隔TT大于或等于60分,所以生成新的组G2并将图像信息P4分类到组G2。
而且,图像信息P4和图像信息P5、图像信息P5和图像信息P6、图像信息P6和图像信息P7的时间间隔TT分别未达到60分,所以图像信息P5~P7被分类到与图像信息P4相同的组G2。
而且,图像信息P7和图像信息P8的时间间隔TT大于或等于90分钟,所以生成新的组G3,图像信息P8被分类到组G3中。
再有,图像信息P8和图像信息P9、图像信息P9和图像信息P10、分别未达到90分钟,所以被分类到相同的组G3,图像信息P10和图像信息P11的时间间隔TT大于或等于90分钟,所以生成新的组G4并将图像信息P11分类到组G4。
再有,图像信息P11和图像信息P12、图像信息P12和图像信息P13的时间间隔TT分别未达到90分钟,所以图像信息P12和图像信息P13被分类到与图像信息P11相同的组G4。
再有,图像信息P13和图像信息P14的时间间隔大于或等于60分钟,所以生成新的组G5,图像信息P14被分类到组G5。
而且,图像信息P14和图像信息P15以及图像信息P5和图像信息P16的时间间隔TT分别未达到60分钟所以被分类到相同的组G5。
进行了这样的处理的结果,是图8(b)所示的组管理表被存储到分类信息存储部6,直至图像信息P1~P16的分类结束。
图8(b)是表示分类信息存储部6存储的一例组管理表的图。如图8(b)所示,组管理表包括单个或者多个具有“组ID”、“图像ID”的记录。
“组ID”是用于识别各记录的信息,为了管理上的要求而被赋予。
“图像ID”是用于特定属于该组的单个或者多个图像的识别符。作为识别符,例如可以是链接信息。通过参照该链接信息,可以对存储于图像存储部12中的图像信息进行存取。而且,作为识别符,也可以是可区分各个图像的不重复的一连串的号码。
而且,如前所述那样,可以是在图像信息被分类时,将对应的图像信息移动或复制到对每个组准备的文件夹中的结构,也可以是将表示被分类的组的识别信息存储在图像信息的信头信息中的结构。
如图10所示,通过执行这样的处理,图像信息P1~P16的图像信息可以被如下分类:到公园散步时拍摄的图像信息P1~P3被分类到组G1,在家一边准备参观一边拍摄的图像信息P4~P7被分类到组G2,在A市参观中拍摄的图像信息P8~P10被分类到组G3,在B市参观中拍摄的图像信息P11~P13被分类到组G4,再有,回家后拍摄的图像信息P14~P16被分类到组G5。即,可以将图像信息P1~P16适当地分类到用户的一天的行动中的5个事件中的每一个。
而且,在本实施方式中,以分类条件式ID=B1为例进行了说明。即,作为分类式参数,示出了通过距离阈值Dth将离开基准地点的基准距离分割为“近距离”和“远距离”两个,从而适用不同的时间阈值ΔT(T1或者T2)的例子。
但是,本发明并不限于此,例如,如图8(a)的分类条件式ID为B2或者B3的分类条件式所示那样,设置多个距离阈值Dth(例如Dth1和Dth2),分割为“近距离”、“中距离”、“远距离”三个范围,可以利用各自不同的时间阈值ΔT(例如T1,T2,T3)进行基于时间间隔TT的分类。当然,同样可以将基准距离Ds分割为大于或等于四个的范围,从而应用各自不同的时间阈值ΔT。
再有,因为可以经由输出部7使显示装置60按照如图11所示的每个组显示这样分类的图像信息P1~P16,所以用户可以汇总为每个事件来察看多个图像,从而可以在短时间内察看图像而不增加用户的负担。
图11是表示本发明的实施方式的一例图像分类装置和图像分类系统的显示装置60显示的图像的图。如图11所示,如果接着前述的例子说,则表示从图像信息P1到图像信息P10的图像信息的概要的缩略图图像,以按照每个组概括的方式显示,所以通过使用本发明的实施方式的图像分类装置和图像分类系统以及图像分类方法,用户通过不感觉负担地选择希望的组,可以在短时间内察看希望的图像。
而且,在本发明的实施方式2中,通过按照图7所示的流程图记述程序,使计算机执行,可以如上所述那样,按照用户的行动中的每一个事件适当地进行图像的分类。而且,也可以预先将记述的程序存储在记录介质中,使计算机读取执行。
(实施方式3)
接着,对本发明的实施方式3的图像分类装置31进行说明。
图12是表示本发明的实施方式3的图像分类装置31的结构的方框图。
如图12所示,本发明的实施方式3的图像分类装置31与本发明的实施方式2中说明的图像分类装置21的不同之处在于:不包括时间信息提取部13和时间间隔计算部14,以及包括由位置信息提取部2提取的位置信息计算后述的距离间隔的距离间隔计算部32。
由于这样的差别,对于每个图像信息,将从基准距离计算部3输出的基准距离的值和从距离间隔计算部32输出的距离间隔的值输入图像信息分类部34,所以图像信息分类部34的功能和分类条件存储部33中存储的分类条件与实施方式2中说明的图像分类装置21的对应部分有所不同。
而且,对于本发明的实施方式3的图像分类装置31的结构部件与实施方式2的图像分类装置21的结构要素和功能相同的部分,赋予与图像分类装置21中相同的标号并省略其说明。
距离间隔计算部32利用位置信息提取部2提取的位置信息,计算应分类的图像信息的拍摄场所和这之前拍摄的图像信息的拍摄场所的距离差的绝对值(以下记为距离间隔DD)。
以下利用图7(a)和图13中分别表示的流程图来说明本发明的实施方式3的图像分类装置31的动作。而且,图13是与前述的实施方式2中的图7(b)对应的图。
而且,在本发明的实施方式3中,也假设输入到图像分类装置31的图像信息与实施方式2中说明的图像信息一样来进行说明。
图7(a)中步骤S11~S15的各处理与实施方式2中说明的各步骤相同,这里省略说明。
在步骤S16中,图像信息分类部34从分类条件存储部33中选择与图像信息Pi对应的分类条件式,决定距离阈值和间隔阈值。在本实施方式中,假设选择了图13的流程图中的步骤S121~S126所示的分类条件来进行说明。
在图13中,如果图像信息Pi中的基准距离Ds大于或等于距离阈值Dth(如果是离家比较远的距离),则在场所阈值ΔD中存储D1的值,除此之外(如果是离家比较近的距离),则在场所阈值ΔD中存储D2的值(S121~S123)。
如果图像信息中的距离间隔DD大于或等于场所阈值ΔD(S124),色在分类信息存储部6中生成新的组Gn+1(S125),将图像信息Pi分类到该组。除此之外,将图像信息Pi记入到已经存在的组Gn(S126)。
以下,对本发明的实施方式3的图像分类装置31的处理进行更具体地说明。输入到图像分类装置31的图像信息的结构和图像信息P1~P16,依旧使用在实施方式2的说明中使用过的内容。
图14(a)是表示分类条件存储部33存储的一例分类条件式的图。这里“分类式参数”是在分类条件式中使用的参数信息,存储与距离阈值Dth对应的距离间隔阈值ΔD的值。
在图像存储部12中,保持以与实施方式2中说明的相同条件拍摄的如图9所示的16张图像信息。
对于这样的图像信息P1~P16,图15表示了将横轴设为经度,将纵轴设为纬度,将拍摄的地点作为圆点所绘制的图。图15表现了公园、家、A市、B市的地理上的位置关系。
在输入了如图15所示的16张图像信息时,图像信息分类部34在前述的步骤S12生成第一个组G1,在步骤S13~S15求出基准距离Ds的最大值Dsm。
在步骤S16中,从条件分类表的所有记录中选择在选择条件中包含Dsm的记录(分类条件式),读入该分类式的参数。即,因为Dsm=22km,所以选择分类条件式ID是B1的分类条件式,将基准距离阈值Dth=20km,距离间隔阈值D1=100m,D2=1km读入图像信息分类部34。
利用这些分类式参数执行步骤S17。即,在未达到基准距离阈值20km的近处拍摄时(相当于图像信息P1~P7、P14~P16),以距离间隔阈值D1=100m为界而分为不同的组,在大于或等于基准距离阈值20km的远处拍摄时(相当于图像信息P8~P13),以距离间隔阈值D2=1km为界而分为不同的组。
即,图像信息P1和图像信息P2、图像信息P2和图像信息P3的距离间隔DD分别未达到100m,所以P1~P3被分类到相同的组G1。
图像信息P3和图像信息P4的距离间隔DD大于或等于100m,所以生成新的组G2,将图像信息P4分类到组G2。
接着,图像信息P4和图像信息P5、图像信息P5和图像信息P6以及图像信息P6和图像信息P7的距离间隔DD分别未达到100m,所以图像信息将P5~P7分类到与图像信息P4相同的组G2。
而且,图像信息P7和图像信息P8的距离间隔DD大于或等于1km,所以生成新的组G3,将图像信息P8存储到组G3。
而且,图像信息P8和图像信息P9、图像信息P9和图像信息P10、以及图像信息P10和图像信息P11、图像信息P11和图像信息P12、图像信息P12和图像信息P13虽然横跨A市和B市,但是因为距离间隔DD未达到1km,所以分类到相同的组G3。
再有,图像信息P13和图像信息P14的距离间隔DD大于或等于100m,所以生成新的组G4,将图像信息P14分类到组G4。
图像信息P14和图像信息P15、图像信息P15和图像信息P16的间隔距离DD未达到100m,所以图像信息P15~P16被分类到与图像信息P14相同的组G4。
进行了这样的处理的结果,是在分类信息存储部6中存储如图14(b)所示的组管理表。
图14(b)是表示分类信息存储部6存储的一例组管理表的图。如图14(b)所示,组管理表包括单数或多数个具有“组ID”、“图像ID”的记录。
“组ID”是用于识别各记录的信息,因为管理上的要求而被赋予。
“图像ID”是用于指定属于该组的单数或者多数个图像的识别符。作为识别符,例如可以是链接信息。通过参照该链接信息,可以对存储于图像存储部12中的图像信息进行存取。而且,作为识别符,也可以是可区分各个图像的不重复的一连串的号码。
而且,如前所述,在分类图像信息时,可以是将对应的图像信息移动或者复制到每个组准备的文件夹中的结构,也可以是在图像信息的信头信息中存储表示被分类的组的识别信息的结构。
其结果,如图16所示,到“公园”散步被分类到组G1,在“家”进行参观准备被分类到组G2,在“A市和B市”参观被分类到组G3,“回家后”被分类到组G4。这可以将用户1天的行动分类为4个事件。
而且,在本发明的实施方式3中,表示了分类条件式B1的例子,即通过基准距离阈值Dth,将离原点(家)的距离分为“近距离”和“远距离”两种,利用不同的距离间隔阈值ΔD进行分类的例子,但是本发明不限于此。例如也可以假设以下的条件分类式:如分类条件式B2或者B3那样,设置多个基准距离阈值Dth(例如,Dth1,Dth2),分割为“近距离”、“中距离”和“远距离”三个范围,利用各自不同的距离间隔阈值ΔD(例如:D1,D2,D3)进行分类。当然同样可以将基准距离Ds分割为大于或等于四个的范围,应用各自不同的距离间隔阈值ΔD。
而且,也可以按照本发明的实施方式3的如图7(a)和图13所示的流程来记述程序,通过使计算机执行,如上述那样,对用户的行动的每个事件进行适当的图像的分类。而且,可以预先将记述的程序记录在记录介质中,使计算机读取并执行。
(实施方式4)
接着,对本发明的实施方式4的图像分类装置41进行说明。
图17是表示本发明的实施方式4的图像分类装置41的结构的方框图。
如图17所示,本发明的实施方式4的图像分类装置41是组合实施方式2中说明的图像分类装置21和实施方式3中说明的图像分类装置31的结构。
即,如果以实施方式3中说明的图像分类装置31为基础,则在图像分类装置31中还包括实施方式2中说明的图像分类装置21的时间信息提取部13和时间间隔计算部14的结构。
按照这样的结构,对于一个图像信息Pi,将从基准距离计算部3送出的基准距离Ds的值、从距离间隔计算部32送出的距离间隔DD的值以及从时间间隔计算部14送出的时间间隔TT的值共三个值送到图像信息分类部44。
而且,分类条件存储部43存储如图18所示的分类条件式,对于一个分类条件,存储分类式参数,即存储基准距离阈值Dth的阈值、在其前后的距离阈值DD的值和时间阈值TT的值。
利用关于这样的图像信息Pi的三个信息和存储于分类条件存储部43中的分类条件式,图像信息分类部44执行如图7(a)和图19所示的处理步骤。
如图7(a)所示,本发明的实施方式4的图像信息分类部44在计算出图像信息Pi的基准距离Ds的最大值Dsm以后(S15),从图18所示的分类条件式中选择符合选择条件的分类条件式,将分类式参数从分类条件存储部43读入图像信息分类部44(S16)。
接着,如图19所示,根据图像信息Pi的基准距离Ds是大于Dth还是小于Dth来应用不同的时间阈值ΔT和距离间隔阈值ΔD(S131~S133),根据距离间隔DD是否大于或等于ΔD(S134),以及时间间隔TT是否大于或等于ΔT(S135),在其中一方为“是”的情况下,生成新的组Gn+1(S136),将图像信息Pi分类到该新的组Gn+1中,从而结束处理。
如果距离间隔DD不大于或等于ΔD,并且时间间隔TT不大于或等于ΔT时,将图像信息Pi分类到已经存在的组Gn(S137)中并结束处理。
通过进行这样的结构和处理方法,按照本发明的实施方式4的图像分类装置41,可以进一步进行每个详细的事件的分类。
即,如图20所示,对于一个图像信息,可以得到使时间阈值可变时的分类信息和使距离阈值可变时的分类信息两种属性的事件信息,可以进行分层的分类。
而且,按照本发明的实施方式4中图7(a)和图19所示的流程记述程序,通过使计算机执行,可以如上所述那样,对以后的行动中的每一个事件适当地进行图像的分类。而且,也可以使记录介质预先记录记述的程序,并使计算机读取并执行。
(实施方式5)
进一步对本发明的实施方式5的图像分类装置51进行说明。
图21是表示本发明的实施方式5的图像分类装置51的结构的方框图。
如图21所示,本发明的实施方式5的图像分类装置51除了实施方式2说明的图像分类装置21的结构要件,还具有以下结构:地图信息存储部52,存储地图信息;注释生成部53,连接到分类信息存储部6,由存储于地图信息存储部52的地图信息,生成应对图像信息的组赋予的注释;以及事件信息存储部54,存储由注释生成部53生成的注释。而且,地图信息存储部52和注释生成部53可以直接连接,当然也可以经由网络等进行连接。
而且,所谓地图信息,是指与任意的位置信息对应存储的住所和建筑物等的信息。
首先,对本发明的实施方式5的图像分类装置51中的注释生成部53的动作概要进行说明。
图22是表示本发明的实施方式5的图像分类装置51中的注释生成部53的处理步骤的流程图。
如图22所示,首先,注释生成部53读取存储于分类信息存储部6中应生成注释的被分类到组的图像信息的位置信息,由该位置的分布计算代表位置和分布范围。具体来说,如图23所示,在地图上配置了属于组的图像的拍摄场所(图中的圆点)后,假设包含所有拍摄场所的最小的圆(虚线区域),将其几何中心位置设为代表位置,将直径设为分布范围(S141)。
接着,注释生成部53由在步骤S141计算出的分布范围,根据其大小从地图信息选择应作为注释而采用的部分(S142)。
进一步,注释生成部53将在步骤S143选择的注释信息存储到事件信息存储部54(S144)并结束处理。
而且,也可以是这样的结构,将这时生成的注释信息与被分组的图像一起从生成部7输出到显示装置60等外部装置。例如,如图11所示那样,在显示装置60上显示图像时,“○○公园”、“家”、“A市”为注释。通过将这样的注释信息与被分组的图像一起输出,用户看见注释信息,可以直接想起与组对应的事件,所以可以实现作为用户的负担更少的结构。
更具体地进行说明。例如,设在步骤S141中,由构成某个组的图像信息的位置信息计算出的代表位置是东经:139度44分55秒,北纬:35度39分19秒。而且,设其分布范围是800m。
而且,在这种情况下,设在步骤S142从地图信息存储部52读取的地图信息是“关东地区,东京都,芝公园,东京塔”。
这时,在步骤S143中,决定对应这些图像信息的分布范围,使用“关东地区,东京都,芝公园,东京塔”中的哪一个信息作为应赋予组的注释信息。
在该决定中,例如:
如果是:0<分布范围<100m,则分配“东京塔(地标)”
如果是:100m<分布范围<1km,则分配“芝公园(地域)”
如果是:1km<分布范围<50km,则分配“东京都(都道府县)”
如果是:50km<分布范围<500km,则分配“关东地区(地区名)”
可以是在注释生成部53中具有上述那样分布分配的表格的结构。
在前述的例子中,因为组内的图像信息的位置信息的分布范围是800m,所以选择地图信息“芝公园”作为应赋予组的注释信息。
而且,这时,注释生成部53也可以是与图像信息中的时间信息组合而生成注释信息的结构。由此,如果拍摄图像的时候是夏天,则可以赋予“夏天的芝公园”,如果在包含从除夕夜到正月早上的情况下,则可以赋予“在芝公园过年”等的注释。
进而,注释生成部53也可以参考包含节日和日历上的信息的日历信息使说明文字更详细。
而且,可以将注释生成部53生成的注释设为文件夹名或者文件名,在相册名或者相册的说明中使用也可以。
而且,通过按照本发明的实施方式5的如图22所示的流程记述程序,使计算机执行,可以如前所述那样,生成与组对应的注释。而且,使存储介质预先记录记述的程序,使计算机读取并执行也可以。
而且,在本发明的实施方式5中,在决定组的代表位置时,使用包含全部图像的圆形的几何中心位置,但也可以使用包含全部图形的多边形图形的重心位置和顶点位置等,也可以将组中最初、最后或者中间拍摄的图形的拍摄场所设为代表位置。
而且,代表位置的决定可以根据图像信息的位置信息的分布来进行,不限于前述那样利用分布范围决定代表位置的方法。例如,也可以是利用组的任意的图像信息(例如最远离的或者最接近的图像信息)等、组内大于或等于两个的图像信息的位置信息来决定代表位置的结构。
而且,在本发明的实施方式中,将原点设为用户的家来进行了说明,但是本发明的原点的位置不限于用户的家。例如,在跨越期间比较长的停留型的旅行中,有时也将停留的旅馆设为原点。这样,可以将称为旅行的事件中拍摄的图像群作为多个小事件的组合而分类。
而且,在本发明的实施方式中,将图像信息设为静止图像来进行了说明,但是本发明的图像信息不限于静止图像。例如,在假设图像信息是电影摄影机等拍摄的活动图像时,可以将开始拍摄该活动图像的时刻作为图像信息的时间信息,将开始拍摄该活动图像的场所作为图像信息的位置信息来使用。
按照本发明,可以对与用户认为是单一事件的事情所对应的图像信息进行分类,使其更适当地与一个组对应。