CN112188081A - 图像处理装置、图像处理方法、及记录介质 - Google Patents

图像处理装置、图像处理方法、及记录介质 Download PDF

Info

Publication number
CN112188081A
CN112188081A CN202010623932.7A CN202010623932A CN112188081A CN 112188081 A CN112188081 A CN 112188081A CN 202010623932 A CN202010623932 A CN 202010623932A CN 112188081 A CN112188081 A CN 112188081A
Authority
CN
China
Prior art keywords
user
attribute
image
images
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010623932.7A
Other languages
English (en)
Other versions
CN112188081B (zh
Inventor
松本彻也
山路启
园田慎一郎
田中伸也
吉泽宏俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112188081A publication Critical patent/CN112188081A/zh
Application granted granted Critical
Publication of CN112188081B publication Critical patent/CN112188081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种可知事件中的一使用者的特有的生活方式的图像处理装置、图像处理方法、及记录介质。从同一事件的图像检测根据一使用者(U3)所拍摄的图像(C41‑C60)得到的第1属性和根据比一使用者(U3)更多的其他使用者(U1、U2、U4、U5及U6)所拍摄的图像(C1‑C20、C21‑C40、C61‑C80、C81‑C100及C101‑C120)得到的第2属性。第1属性表示在该事件中进行特有的生活方式的一使用者的特征。根据第1属性,将适合于一使用者的商品等信息通知给一使用者。

Description

图像处理装置、图像处理方法、及记录介质
技术领域
该发明涉及一种图像处理装置、图像处理方法、图像处理程序及存储有该程序的记录介质。
背景技术
当使用者利用互联网的搜索网站搜索商品、服务等时,若不知道特定的商品名、服务名等,则有时直至访问购买目标商品、服务等的网站为止需要时间。因此,有如下技术:使用使用者所拍摄的图像来获取商品、服务等信息(专利文献1)。并且,还有如下技术:当在店铺进行购物时,提供与顾客的兴趣嗜好相关的信息(专利文献2)。
专利文献1:日本特开2016-009459号公报
专利文献2:日本特开2017-117362号公报
发明内容
发明要解决的技术课题
在圣诞节等事件中,许多家庭用圣诞树装饰房屋,吃鸡肉和圣诞节蛋糕或喝香槟等。然而,有时一部分家庭的生活方式与大多数家庭所进行的的生活方式不同。若与大多数家庭同样地,对这样的一部分家庭仅介绍促使在圣诞节购买装饰圣诞树的商品、或鸡肉、圣诞节蛋糕、香槟等商品等,则对于这样的家庭而言,该介绍不能令人满意。在以往文献1中所记载的技术中,仅仅是使用使用者所拍摄的图像来获取关于商品或服务的信息,对于使用者的家庭的生活方式与大多数家庭的生活方式不同且进行特有的生活方式的一部分家庭而言,并没有考虑得到该家庭所需要的信息。并且,在以往文献2中所记载的技术中,在商店进行购物时,也仅仅提供与顾客的兴趣嗜好相关的信息,对于使用者的家庭的生活方式与大多数家庭的生活方式不同且进行特有的生活方式的家庭而言,并没有考虑提供该家庭所需要的信息。
该发明的目的在于能够找出适合于在事件等中进行特有的生活方式的使用者的信息。
用于解决技术课题的手段
根据该发明的图像处理装置具备:读取机构,从存储有关于同一事件拍摄的多个图像的存储装置中读取多个图像;及属性检测机构,检测根据由上述读取机构读取的多个图像中一使用者所拍摄的第1图像组得到的第1属性,所述第1属性不同于根据比一使用者的人数更多的人数的其他使用者所拍摄的第2图像组得到的第2属性。
该发明还提供一种图像处理方法。即,读取机构从存储有关于同一事件拍摄的多个图像的存储装置中读取多个图像,属性检测机构检测根据由读取机构读取的多个图像中一使用者所拍摄的第1图像组得到的第1属性,所述第1属性不同于根据比一使用者的人数更多的人数的其他使用者所拍摄的第2图像组得到的第2属性。
该发明还提供一种控制图像处理装置的计算机的程序及存储有该程序的记录介质。
并且,可以提供如下图像处理装置,其具备:读取机构,从存储有关于同一事件拍摄的多个图像的存储装置中读取多个图像,处理器检测根据由读取机构读取的多个图像中一使用者所拍摄的第1图像组得到的第1属性,所述第1属性不同于根据比一使用者更多的其他使用者所拍摄的第2图像组得到的第2属性。
还可以具备:被摄体检测机构,从多个图像的每一个中检测被摄体。在该情况下,属性检测机构例如检测根据从第1图像组检测出的第1被摄体得到的第1属性,所述第1属性不同于根据从第2图像组检测出的第2被摄体得到的第2属性。
优选第2被摄体的数量多于第1被摄体的数量。
还可以具备:主要被摄体检测机构,从多个图像的每一个中检测主要被摄体。在该情况下,属性检测机构例如检测根据从第1图像组检测出的第1主要被摄体得到的第1属性,所述第1属性不同于根据从第2图像组检测出的第2主要被摄体得到的第2属性。
优选第2主要被摄体的数量多于第1主要被摄体的数量。
例如,根据一使用者周期性地拍摄的多个图像得到第1属性。
例如,根据第1图像组的拍摄定时得到第1属性,根据第2图像组的拍摄定时得到第2属性。
还可以具备:第1通知机构,根据由属性检测机构检测出的第1属性来通知关于事件的针对商品或服务中的至少一方的事件相关信息。
可以在根据由属性检测机构检测出的第1属性决定的时期,通知关于事件的针对商品或服务中的至少一方的信息。
通知机构例如将信息通知给一使用者。
发明效果
第1属性为关于在事件中与很多使用者不同的一使用者的特有的生活方式的信息。由于可知第1属性,因此可知事件中的一使用者的特有的生活方式。
附图说明
图1是图像处理系统的概要。
图2是表示存储服务器的电构成的块图。
图3是表示存储服务器的处理流程的流程图。
图4是存储于硬盘中的图像的一例。
图5是圣诞节事件的图像的一例。
图6是使用者的图像的一例。
图7是表示信息的发送处理流程的流程图。
图8是表示决定一使用者的处理流程的流程图。
图9是表示存储服务器的处理流程的流程图。
图10表示拍摄定时与使用者所拍摄的图像之间的关系。
具体实施方式
[第1实施例]
图1是表示该发明的实施例的图,示出图像处理系统的概要。
图像处理系统中包括n(n为复数)个客户端计算机1-n,这些n个客户端计算机1-n连接于互联网。并且,图像处理系统中还包括存储服务器10及信息提供服务器20,这些存储服务器10及信息提供服务器20的各自能够经由互联网与n个客户端计算机1-n的各自进行通信。
客户端计算机1-n将表示使用者所拍摄的图像的图像文件发送到存储服务器10,存储服务器10接收并存储从使用者发送的图像文件。信息提供服务器20向使用者发送信息,但也可以由存储服务器10向使用者发送信息。
在图1中图示出n个客户端计算机1-n,但也可以在图像处理系统中仅包括一个客户端计算机。与客户端计算机的数量无关地,只要多个使用者能够使用客户端计算机将图像数据上传到存储服务器10中即可。并且,也可以利用智能手机等通信设备来代替客户端计算机1-n。
并且,也可以不利用信息提供服务器20而构成图像处理系统。
图2是表示存储服务器10的电构成的块图。
存储服务器10(是图像处理装置的一例)的整体动作由CPU(central processingunit:中央处理器)11集中控制。
存储服务器10中包括用于与互联网连接的通信装置12、用于访问存储卡14的存储卡读写器13、读取记录在微型光盘16中的数据等的微型光盘驱动器15、记录从使用者发送的图像文件等的硬盘18及在硬盘18中写入图像文件且从硬盘18中读取图像文件的硬盘驱动器17。另外,存储服务器10中还包括存储器19及显示装置19A。
微型光盘16(便携式记录介质)中存储有控制存储服务器10的动作的程序,记录在微型光盘16中的程序由微型光盘驱动器15读取并安装于存储服务器10中。程序也可以不是从微型光盘16读取并被安装于存储服务器10中,而是经由互联网等网络在存储服务器10中接收,并且将所接收到的程序安装于存储服务器10中。与存储服务器10同样地,信息提供服务器20也具备CPU、存储器、通信装置等。
该实施例找出认为在某一事件中进行与通常的生活方式不同的特有的生活方式的一使用者,并向该一使用者提供符合特有的生活方式的商品、服务等信息。
图3是表示存储服务器10的处理流程的流程图。在图3所示的处理中,根据一使用者所拍摄的多个图像(第1图像组)检测第1属性,并根据其他使用者所拍摄的多个图像(第2图像组)检测第2属性。不一定要检测第2属性。图3所示的处理可以在任何时间开始,也可以在比关于特定的事件进行的时期稍微之前的时期开始。第1属性为与事件的特征不同的特征,是后述的一使用者的图像组特有的特征。第2属性可以为与事件的特征相同的特征,也可以为不同的特征,是与后述的其他使用者的图像组共同的特征。第1属性与第2属性不同。
在存储服务器10的硬盘18(是存储装置的一例)中存储有从多个使用者的客户端计算机1-n发送的多个图像文件。通过硬盘驱动器17(是读取机构的一例)读取(步骤31)存储于硬盘18中的多个图像文件。通过CPU11按同一事件分类所读取的图像文件(步骤32)。
图4表示按同一事件分类了存储于硬盘18中的多个使用者的图像的状态。
作为圣诞节事件的图像,汇集有图像C1至C120,作为新年事件的图像,汇集有图像Y1至Ym,作为爬山事件的图像,汇集有图像M1至Mp。关于其他事件,也按同一事件进行汇集。
当图像文件的标头中有事件的记载时利用该记载分类为同一事件的图像,或者当使用者根据关于事件的图像的比赛会等应征图像时将根据该应征而发送的图像分类为该事件的图像,或者当进行事件的时期已被确定时将在该时期拍摄的图像分类为该事件的图像,由此按同一事件分类图像。所分类的图像当然不是按硬盘18的特定的区域被划分存储,而可以制作表格并在该表格中存储图像文件名等以便可知同一事件的图像,也可以在图像标头中记录关于同一事件的信息。即使未按同一事件分类图像文件,只要能够读取关于同一事件的图像文件,则也不一定需要进行按同一事件分类图像文件的处理。
若按同一事件分类图像,则通过CPU11按使用者分类关于特定的事件(可以为任何事件,但当在与事件相应的时期进行图3所示的处理时,与该时期相对应的事件成为特定的事件)的图像(步骤33)。当图像文件的标头中记录有使用者名、使用者ID或与这些相对应的数据时,利用使用者名、使用者ID或与这些相对应的数据按使用者分类图像。若为应征于图像的比赛会等的图像,则可知应征者的使用者名,可制作将该使用者名与图像建立关联的表格等,因此可利用这种表格按使用者分类图像。在该情况下,按使用者分类的图像当然也不是按硬盘18的特定的区域被划分存储,而可以制作表格并在该表格中存储图像文件名等以便按使用者可知同一事件的图像,也可以在图像标头中关于同一事件记录同一使用者的信息。即使未按同一事件的同一使用者分类图像文件,只要能够读取关于同一事件的同一使用者的图像文件,则也不一定需要进行按同一事件的同一使用者分类图像文件的处理。
图5表示按使用者划分了圣诞节这一同一事件的图像的状态。
图像C1至图像C20、图像C21至图像C40、图像C41至图像C60、图像C61至图像C80、图像C81至图像C100及图像C101至图像C120分别被分类为使用者U1的图像、使用者U2的图像、使用者U3的图像、使用者U4的图像、使用者U5的图像及使用者U6的图像。圣诞节事件的图像仅设为使用者U1至U6的图像。
接着,关于同一事件,通过CPU11(是被摄体检测机构、主要被摄体检测机构的一例)检测按使用者分类的图像中所包含的被摄体(也可以为主要被摄体)(步骤34)。当检测出被摄体而不是主要被摄体时,可以考虑检测与图像整体的大小相比具有一定大小的被摄体以免检测出偶尔映入的被摄体,或者检测像位于图像中所包含的人物的近处那样的被摄体、像与人物接触的被摄体那样能够判断为与人物有关联的被摄体,或者检测在该使用者的图像中以一定次数以上的频度映入的被摄体。优选从一个图像中检测多个被摄体,而不是仅检测一个被摄体。当检测主要被摄体时,能够根据在图像中的位置(越靠近图像中央部分,就被掌握为是主要被摄体)、被摄体的焦点是否对焦(越是对焦,就被掌握为是主要被摄体)、在该使用者的图像中是否以一定次数以上的频度映入等来判断是否为主要被摄体。
图6是作为圣诞节事件而拍摄的图像的一例。
在图6中示出使用者U1的图像C1至C20中的图像C1、使用者U2的图像C21至C40中的图像C21及使用者U3的图像C41至图像C60中的图像C41。
从使用者U1的图像C1检测出圣诞树S1及蛋糕S2,从使用者U2的图像C21也检测出圣诞树S21及蛋糕S22。从使用者U3的图像C41检测出自行车S41及自行车帽S42。关于使用者U1的图像C1至C20中除图像C1以外的图像C2至C20也同样检测出被摄体,关于使用者U2的图像C21至C40中除图像C21以外的图像C22至C40也同样检测出被摄体,关于使用者U3的图像C41至C60中除图像C41以外的图像C42至C60也同样检测出被摄体。并且,关于除使用者U1、U2及使用者U3以外的使用者U4至U6的图像也同样检测出被摄体。
若从关于同一事件的多个使用者U1至U6的所有图像C1至C120中检测出被摄体,则关于同一事件的多个使用者U1至U6中拍摄了特定的被摄体的使用者的比例小于阈值(第1阈值。例如50%)的使用者成为一使用者(步骤35)。而且,以这种方式决定的一使用者所拍摄的特定的被摄体成为第1被摄体。例如,当从使用者U3的图像中检测出自行车或自行车帽而从使用者U1、U2、U4、U5及U6的图像中未检测出时,使用者U3为1人且同一事件的多个使用者为U1至U6的6人,因此拍摄了自行车或自行车帽的使用者的比例(在本实施例的情况下为1/6=16.7%)小于阈值。因此,自行车或自行车帽成为第1被摄体,使用者U3成为一使用者。阈值也可以设为其他值。并且,也可以检测主要被摄体来代替被摄体。根据在图像中的配置位置,例如越靠近中心,则被掌握为是主要被摄体,越对焦,则被掌握为是主要被摄体,若相对于图像整体的大小为一定以上,则被掌握为是主要被摄体等,通过CPU11来判断是否为主要被摄体。
以这种方式检测出的被摄体(主要被摄体)为在该事件中很少被拍摄的被摄体(主要被摄体)。认为拍摄这种少见的被摄体(主要被摄体)的使用者在该事件中进行与一般进行的生活方式不同的生活方式。
在上述中,当在一个使用者的同一事件中的图像中只要有一张检测出特定的被摄体时,就设为“检测出”该特定的被摄体。但是,当所检测出的被摄体出现的比例相对于该使用者的图像的数量为第2阈值(第2阈值例如为10%。第2阈值也可以设为与第1阈值不同的另一值)以上时,可以设为“检测出”该特定的被摄体而如上所述计算使用者的比例。能够防止当特定的使用者偶尔进行少见的生活方式而少见的被摄体映在图像中时,根据这种少见的被摄体决定一使用者。在上述例子中,若使用者U3的图像C41至C60这20个图像中检测出“自行车”或“自行车帽”的图像的数量为两个以上,则判断为在使用者U3的图像中检测出“自行车”或“自行车帽”,但若检测出“自行车”或“自行车帽”的图像的数量均小于两个,则判断为未检测出“自行车”及“自行车帽”中的任何一个。
同样地,将关于同一事件的多个使用者U1至U6中拍摄了特定的被摄体的使用者的比例为阈值(例如50%)以上的使用者设为其他使用者(步骤35)。而且,以这种方式决定的其他使用者所拍摄的特定的被摄体成为第2被摄体。例如,当从阈值以上的比例的数量的使用者的图像中检测出圣诞节事件中的“圣诞树”、“蛋糕”等被摄体时,这些“圣诞树”、“蛋糕”等成为第2被摄体的一例。
如上所述,当从使用者U3的图像中检测出自行车或自行车帽而从使用者U1、U2、U4、U5及U6的图像中未检测出时,使用者U3为1人且同一事件的多个使用者为U1至U6的6人,因此使用者U3成为一使用者,使用者U1、U2、U4、U5及U6成为其他使用者。
若通过CPU11决定一使用者和其他使用者,则通过CPU11(是属性检测机构的一例)根据从作为一使用者的图像的第1图像组检测出的“自行车”及“自行车帽”(如上所述,是第1被摄体的一例)检测第1属性,且通过CPU1 1根据从作为其他使用者的图像的第2图像组检测出的“圣诞树”及“蛋糕”(如上所述,是第2被摄体的一例)检测第2属性(步骤37)。如上所述,第1属性和第2属性表示从在同一事件中拍摄的图像得到的特征中互不相同的特征。第1属性可以为第1被摄体其本身的属性,第2属性也可以为第2被摄体其本身的属性,还可以为与第1被摄体或第2被摄体相关的属性。例如,若第1被摄体为“自行车”及“自行车帽”,则可以将第1属性设为“骑自行车活动”,若第2被摄体为“圣诞树”及“蛋糕”,则可以将第2属性设为“圣诞节”。
图7是表示将基于所检测出的第1属性的信息发送给一使用者的处理流程的流程图。图7所示的处理可以根据图3所示的处理结束而开始,也可以在特定事件的时期的稍微之前的时期开始。
通过CPU11根据所检测出的第1属性决定商品、服务(步骤41)。商品例如是为了检测第1属性而使用的第1被摄体其本身。例如,若检测出“自行车”、“自行车帽”作为第1被摄体,则决定“自行车”、“自行车帽”作为商品。服务例如是与为了检测第1属性而使用的第1被摄体有关的服务。例如,若检测出“自行车”、“自行车帽”作为第1被摄体,则为关于这些的销售服务、租赁服务、采购服务、维护服务、使用这些的休闲等的服务(利用自行车的旅行、邀请参加骑自行车活动事件)等。
若决定商品、服务,则通过CPU11决定发送关于这些商品、服务的信息的时期(步骤42)。决定商品、服务的时期可以设为发送时期,也可以在比特定事件的时期稍微之前的时期决定。若成为发送时期(在步骤43中“是”),则通过通信装置12(是通知机构的一例)将关于所决定的商品、服务的信息从存储服务器10发送给一使用者的客户端计算机(步骤44)。
一使用者便可知适合于一使用者的特有的信息。在特定的事件时,一使用者能够得知不同于与特定事件相对应的一般的信息的、一使用者所特有的信息,因此一使用者对信息的满意度得到提高。并且,也可以通过通信装置12向一使用者通知一使用者进行与其他使用者不同的生活方式的信息。
在图7所示的处理中,从存储服务器10向一使用者的客户端计算机发送关于商品、服务的信息,但也可以从存储服务器10向信息提供服务器20发送信息并从信息提供服务器20向一使用者的客户端计算机发送信息,而不是从存储服务器10向一使用者的客户端计算机发送信息。一使用者的发送目的地能够通过从一使用者向存储服务器10发送图像文件时在存储服务器10中存储发送源来得知。
图8是表示决定一使用者的其他处理流程的流程图。
如上所述,若拍摄了某一特定的被摄体(第1被摄体)的使用者相对于拍摄了同一事件的所有使用者的比例小于阈值(在步骤51中“是”),则通过CPU11判断是否在每个该事件时周期性地拍摄了该特定的被摄体(主要被摄体)(步骤52)。读取包含某一特定的被摄体(主要被摄体)的图像的拍摄日期,若在每次进行事件时拍摄的图像中以一定的频度以上的比例包含该特定的被摄体,则通过CPU11判断为被周期性地拍摄。
若通过CPU11判断为在每个该事件时周期性地拍摄了某一特定的被摄体(主要被摄体)(在步骤52中“是”),则通过CPU11将包含该特定的被摄体(主要被摄体)的图像组的使用者决定为一使用者(步骤53)。由此,可根据一使用者周性期地拍摄的多个图像得到第1属性(图3的步骤37)。
例如,在圣诞节事件的图像中,由于偶尔在某年进行了骑自行车活动而从图像检测出“自行车”的被摄体,但通常在圣诞节事件中不进行骑自行车活动而进行装饰圣诞树、吃蛋糕的生活方式时,能够事先防止从偶尔进行的骑自行车活动的图像检测“自行车”的被摄体,并根据该“自行车”的被摄体检测第1属性。当周期性地进行事件时变为有效。
根据第1实施例,能够根据一使用者所拍摄的图像中所包含的被摄体找出事件时进行与一般的生活方式不同的特有的生活方式的一使用者,并将适合于该一使用者的商品、服务等信息通知给一使用者。
[第2实施例]
图9是表示其他实施例的图,是表示存储服务器10的处理流程的流程图。图9的流程图对应于图3的流程图。
与图3所示的处理同样地,通过硬盘驱动器17从存储服务器10的硬盘18中读取图像文件(步骤61)。通过CPU11按同一事件分类图像文件(步骤62)。并且,与图5所示的处理同样地,通过CPU11按使用者分类关于同一事件的图像文件(步骤63)。
接着,通过CPU11按使用者检测由关于同一事件按使用者分类的图像文件表示的图像的拍摄定时(步骤64)。当像第1实施例的圣诞节等那样事件的时期已被确定时,无需检测在该事件中使用者所拍摄的图像的定时。另一方面,像“爬山”等事件那样,不一定确定事件的时期的事件中,除了很多使用者想到进行事件的时期(例如,若事件为“爬山”,则为夏季)以外,有时特定的使用者在其他时期(例如,若事件为“爬山”,则为春季)进行事件。因此,通过CPU11按使用者检测图像的拍摄定时。
图10是将关于爬山事件的图像按使用者并按照拍摄定时分布的图。
横轴表示拍摄定时(图像的拍摄月份),纵轴表示使用者。假设拍摄了爬山事件的使用者为使用者U11至使用者U15这5人。叉号标记表示由使用者U11至使用者U15拍摄的图像。
使用者U11所拍摄的图像表示为图像群组g11,拍摄定时大致集中在7月。使用者U12所拍摄的图像表示为图像群组g12,拍摄定时集中在横跨7月到8月。使用者U13所拍摄的图像表示为图像群组g13,拍摄定时集中在7月及8月。使用者U14所拍摄的图像表示为图像群组g14,拍摄定时集中在4月至5月。使用者U15所拍摄的图像表示为图像群组g15,拍摄定时集中在8月。
通过CPU11将拍摄了检测出拍摄定时的同一事件的使用者U11至U15中在特定的定时拍摄的使用者的比例小于阈值(第1阈值。例如50%)的使用者设为一使用者(步骤65)。例如,阈值例如为50%,但也可以设为其他值。
例如,假设同一事件为爬山,如图10所示,由使用者U11至U15拍摄的图像中构成图像群组g14(是第1图像组的一例)的图像是在春季(例如,4月及5月)拍摄的,构成图像群组g11、g12、g13及g15(是第2图像组的一例)的剩余的图像是在夏季(例如,7月及8月)拍摄的。在春季的定时拍摄的使用者为使用者U14,在夏季的定时拍摄的使用者为使用者U11、U12、U13及U15。在春季的定时拍摄的使用者为使用者U14这1人,在夏季的定时拍摄的使用者为使用者U11、U12、U13及U15这4人,因此在春季的定时拍摄的使用者U14相对于拍摄了同一事件的图像的所有使用者U11至U15的比例(在本实施例的情况下为1/5=20%)小于阈值。因此,在春季的定时拍摄的图像的使用者U14成为一使用者。
通过CPU11判断为以这种方式检测出的拍摄定时很少作为该事件的拍摄时期。认为在这种时期进行该事件(例如爬山)的使用者在与一般进行该事件的时期不同的时期进行事件。
也可以将拍摄了相对于各个使用者的图像的数量为第2阈值(例如为50%,但也可以为与第1阈值不同的值)以上的图像的定时设为该使用者的拍摄定时。能够事先防止特定的使用者在少见的时期偶尔仅进行了事件时,根据在这种时期偶尔拍摄的较少的图像来决定一使用者。
同样地,通过CPU11将关于同一事件的多个使用者U11至U15中在特定的定时拍摄的使用者的比例为阈值(第1阈值。例如50%)以上的使用者设为其他使用者(步骤66)。例如,在图10中,使用者U11、U12、U13及U15在夏季的定时拍摄爬山事件的图像,其比例为4/5=80%,因此使用者U11、U12、U13及U15成为其他使用者。如上所述,第2图像组为图像群组g11、g12、g13及g15。
若通过CPU11决定一使用者(例如,使用者U14)和其他使用者(例如,使用者U11、U12、U13及U15),则通过CPU11根据从作为一使用者的图像的第1图像组(例如,图像群组g14)检测出的拍摄定时(例如,4月及5月)检测第1属性,且通过CPU11根据从作为其他使用者的图像的第2图像组(例如,图像群组g11、g12、g13及g15)检测出的拍摄定时(例如,7月及8月)检测第2属性(步骤67)。第1属性和第2属性表示从在同一事件中拍摄的图像得到的特征中互不相同的特征。第1属性可以为第1拍摄定时其本身,第2属性也可以为第2拍摄定时其本身。
若以这种方式得知进行事件的时期与其他使用者不同的一使用者,则如参考图7所说明,能够在适合于进行该事件的时期的时期向一使用者发送关于事件的信息(步骤44)。当然,这种信息也可以从与存储服务器10不同的信息提供服务器20发送给一使用者,而不是从存储服务器10发送给一使用者。
拍摄定时并不限于拍摄月份,也可以为按照拍摄年份、拍摄日期、拍摄时刻、四季等季节确定的拍摄旺季等。并且,也可以将所检测出的第1属性及第2属性中的至少第1属性显示于显示装置19A。
根据第2实施例,能够找出在特有的时期进行事件的一使用者,而不是在事件时进行特有的生活方式的一使用者,从而能够在适合于这种一使用者的时期通知信息。
在上述第1实施例及第2实施例中,图像处理系统的管理者均在得到使用者的同意后,分析使用者的图像,根据分析结果向使用者发送关于商品、服务等信息。并且,如上所述,可以从存储服务器10、信息提供服务器20向使用者发送关于商品、服务的信息,但当从与图像处理系统的管理者不同的管理者的系统发送这些信息时,关于将所得到的信息转交给与图像处理系统的管理者不同的管理者,得到使用者的同意。转交信息设为使用者的电子邮件地址等所需最低限度的信息。另外,在将分析使用者的图像而得到的关于被摄体的信息等提供给关于图像处理系统的合作公司的情况下,得到使用者的同意,不提供关于使用者的信息、能够确定使用者的信息,并进行匿名处理以便无法确定使用者。
执行上述处理的处理部中除了执行软件而作为各种处理部发挥功能的CPU11以外,还包括如FPGA(field-programmable gate array:现场可编程门阵列)等在制造之后能够变更电路结构的可编程逻辑器件、ASIC(application specific integrated circuit:专用集成电路)等具有用于执行特定的处理而专用设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA、CPU与FPGA的组合)构成。作为由一个处理器构成多个处理部的例子,第1,如以客户端计算机或服务器等计算机为代表那样,有如下形态:以一个以上的CPU与软件的组合构成一个处理器,该处理器作为多个处理部发挥功能。第2,如以片上系统等为代表那样,有如下形态:使用由一个IC(integrated circuit;集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器。如此,各种处理部使用一个以上的各种处理器作为硬件结构而构成。
另外,更具体而言,这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路。
符号说明
1-n-计算机,10-存储服务器,11-CPU,12-通信装置,13-存储卡读写器,14-存储卡,15-微型光盘驱动器,16-微型光盘,17-硬盘驱动器,18-硬盘,19-存储器,19A-显示装置,20-信息提供服务器,C1-C120-圣诞节事件的图像,Y1-Ym-新年事件的图像,M1-Mp-爬山的图像,S1-圣诞树,S2-圣诞节蛋糕,S21-圣诞树,S22-圣诞节蛋糕,S41-自行车,S42-自行车帽,U1-U6-使用者,U11-U15-使用者,g11-g15-图像群组。

Claims (12)

1.一种图像处理装置,其具备:
读取机构,从存储有关于同一事件拍摄的多个图像的存储装置中读取上述多个图像;及
属性检测机构,检测根据由上述读取机构读取的上述多个图像中一使用者所拍摄的第1图像组得到的第1属性,所述第1属性不同于根据比上述一使用者的人数更多的人数的其他使用者所拍摄的第2图像组得到的第2属性。
2.根据权利要求1所述的图像处理装置,其中,
所述图像处理装置还具备:
被摄体检测机构,从上述多个图像的每一个中检测被摄体,
上述属性检测机构检测根据从上述第1图像组检测出的第1被摄体得到的第1属性,上述第1属性不同于根据从上述第2图像组检测出的第2被摄体得到的第2属性。
3.根据权利要求2所述的图像处理装置,其中,
上述第2被摄体的数量多于上述第1被摄体的数量。
4.根据权利要求1所述的图像处理装置,其中,
所述图像处理装置还具备:
主要被摄体检测机构,从上述多个图像的每一个中检测主要被摄体,
上述属性检测机构检测根据从上述第1图像组检测出的第1主要被摄体得到的第1属性,上述第1属性不同于根据从上述第2图像组检测出的第2主要被摄体得到的第2属性。
5.根据权利要求4所述的图像处理装置,其中,
上述第2主要被摄体的数量多于上述第1主要被摄体的数量。
6.根据权利要求1至5中任一项所述的图像处理装置,其中,
根据上述一使用者周期性地拍摄的多个图像得到上述第1属性。
7.根据权利要求1所述的图像处理装置,其中,
根据上述第1图像组的拍摄定时得到上述第1属性,
根据上述第2图像组的拍摄定时得到上述第2属性。
8.根据权利要求1或7所述的图像处理装置,其中,
所述图像处理装置还具备:
第1通知机构,根据由上述属性检测机构检测出的上述第1属性来通知关于上述事件的针对商品或服务中的至少一方的事件相关信息。
9.根据权利要求8所述的图像处理装置,其中,
在根据由上述属性检测机构检测出的上述第1属性决定的时期,通知关于上述事件的针对商品或服务中的至少一方的信息。
10.根据权利要求8所述的图像处理装置,其中,
上述通知机构将上述信息通知给上述一使用者。
11.一种图像处理方法,其中,
读取机构从存储有关于同一事件拍摄的多个图像的存储装置中读取上述多个图像,
属性检测机构检测根据由上述读取机构读取的上述多个图像中一使用者所拍摄的第1图像组得到的第1属性,所述第1属性不同于根据比上述一使用者的人数更多的人数的其他使用者所拍摄的第2图像组得到的第2属性。
12.一种保存有程序的记录介质,所述程序为控制图像处理装置的计算机的计算机可读取的程序,
上述程序以如下方式控制图像处理装置的计算机:
从存储有关于同一事件拍摄的多个图像的存储装置中读取上述多个图像,
检测根据所读取的上述多个图像中一使用者所拍摄的第1图像组得到的第1属性,所述第1属性不同于根据比上述一使用者的人数更多的人数的其他使用者所拍摄的第2图像组得到的第2属性。
CN202010623932.7A 2019-07-03 2020-07-01 图像处理装置、图像处理方法、及记录介质 Active CN112188081B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019124707A JP7129383B2 (ja) 2019-07-03 2019-07-03 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
JP2019-124707 2019-07-03

Publications (2)

Publication Number Publication Date
CN112188081A true CN112188081A (zh) 2021-01-05
CN112188081B CN112188081B (zh) 2022-03-01

Family

ID=73919977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623932.7A Active CN112188081B (zh) 2019-07-03 2020-07-01 图像处理装置、图像处理方法、及记录介质

Country Status (3)

Country Link
US (1) US11455795B2 (zh)
JP (1) JP7129383B2 (zh)
CN (1) CN112188081B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236716A1 (en) * 2002-06-25 2003-12-25 Manico Joseph A. Software and system for customizing a presentation of digital images
CN102959551A (zh) * 2011-04-25 2013-03-06 松下电器产业株式会社 图像处理装置
US20140152854A1 (en) * 2012-12-04 2014-06-05 Olympus Corporation Server system, terminal device, information storage device, method for controlling server system, and method for controlling terminal device
US8880535B1 (en) * 2011-11-29 2014-11-04 Google Inc. System and method for selecting user generated content related to a point of interest
US20160180235A1 (en) * 2014-12-17 2016-06-23 InSnap, Inc. Method for inferring latent user interests based on image metadata
US20180349684A1 (en) * 2017-05-30 2018-12-06 Google Inc. Systems and Methods of Person Recognition in Video Streams

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097213A (ja) * 2006-10-10 2008-04-24 Canon Inc 画像表示システム、画像表示方法およびプログラム
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2011128992A (ja) * 2009-12-18 2011-06-30 Canon Inc 情報処理装置およびその処理方法
WO2011161889A1 (ja) * 2010-06-23 2011-12-29 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
US8737726B2 (en) * 2011-01-28 2014-05-27 Panasonic Corporation Image data processing device, method, program and integrated circuit
US8891883B2 (en) * 2012-05-15 2014-11-18 Google Inc. Summarizing a photo album in a social network system
JP6293992B2 (ja) * 2012-08-01 2018-03-14 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2014182650A (ja) * 2013-03-19 2014-09-29 Canon Inc 画像共有装置、画像共有装置の制御方法、およびプログラム
JP2016009459A (ja) 2014-06-26 2016-01-18 株式会社リアライズ 情報提供システム、情報提供方法及びプログラム
JP6639225B2 (ja) 2015-12-25 2020-02-05 東芝テック株式会社 買い物支援システムおよびサーバ
JP6586402B2 (ja) * 2016-09-16 2019-10-02 富士フイルム株式会社 画像分類装置、画像分類方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236716A1 (en) * 2002-06-25 2003-12-25 Manico Joseph A. Software and system for customizing a presentation of digital images
CN102959551A (zh) * 2011-04-25 2013-03-06 松下电器产业株式会社 图像处理装置
US8880535B1 (en) * 2011-11-29 2014-11-04 Google Inc. System and method for selecting user generated content related to a point of interest
US20140152854A1 (en) * 2012-12-04 2014-06-05 Olympus Corporation Server system, terminal device, information storage device, method for controlling server system, and method for controlling terminal device
US20160180235A1 (en) * 2014-12-17 2016-06-23 InSnap, Inc. Method for inferring latent user interests based on image metadata
US20180349684A1 (en) * 2017-05-30 2018-12-06 Google Inc. Systems and Methods of Person Recognition in Video Streams

Also Published As

Publication number Publication date
CN112188081B (zh) 2022-03-01
JP7129383B2 (ja) 2022-09-01
US20210004596A1 (en) 2021-01-07
US11455795B2 (en) 2022-09-27
JP2021012427A (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
US10467294B2 (en) Systems and methods of using a bitmap index to determine bicliques
US8069169B2 (en) Apparatuses, methods and systems for information querying and serving on the internet based on profiles
CN110033298B (zh) 信息处理设备及其控制方法、系统和存储介质
CN103971263A (zh) 顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法
US11594027B2 (en) Image processing device, image processing method, program, and recording medium
US20180121470A1 (en) Object Annotation in Media Items
US11620695B2 (en) Information suggestion system, information suggestion method, program, and recording medium
US20230274329A1 (en) Free Time Monetization Exchange
US20090313141A1 (en) Method, apparatus and program for providing preview images, and system for providing objects with images thereon
CN112188081B (zh) 图像处理装置、图像处理方法、及记录介质
JP7294663B2 (ja) 接客支援装置、接客支援方法、及びプログラム
JP7230299B2 (ja) Snsに投稿された画像から商品情報を取得するためのカード会社システム、端末のプログラム、snsシステム及び方法
US20220417598A1 (en) Image processing device, operation method of image processing device, and operation program of image processing device
US11210829B2 (en) Image processing device, image processing method, program, and recording medium
US20190362404A1 (en) Server and method for avoiding registered materials
US11659273B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
JP6812603B2 (ja) 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ
US11720625B2 (en) Information suggestion system, information suggestion method, program, and recording medium
JP7420495B2 (ja) 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7125530B1 (ja) プログラム、サーバ装置、中古車販売支援システム及び中古車販売支援方法
JP2019139429A (ja) スケジュール管理プログラム及びスケジュール管理システム
US20210166250A1 (en) Data processing method, device and storage medium
CN112148910A (zh) 图像处理装置、图像处理方法及存储有图像处理程序的记录介质
WO2019021216A1 (en) SYSTEM AND METHOD FOR DISTRIBUTING MULTIMEDIA FILE
WO2017184874A1 (en) Free time monetization exchange

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant