CN102402927B - 存储信息输出系统、输出控制装置以及输出控制方法 - Google Patents

存储信息输出系统、输出控制装置以及输出控制方法 Download PDF

Info

Publication number
CN102402927B
CN102402927B CN201110270223.6A CN201110270223A CN102402927B CN 102402927 B CN102402927 B CN 102402927B CN 201110270223 A CN201110270223 A CN 201110270223A CN 102402927 B CN102402927 B CN 102402927B
Authority
CN
China
Prior art keywords
storage information
output
personage
audiovisual
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110270223.6A
Other languages
English (en)
Other versions
CN102402927A (zh
Inventor
久保田洋孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102402927A publication Critical patent/CN102402927A/zh
Application granted granted Critical
Publication of CN102402927B publication Critical patent/CN102402927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及存储信息输出系统、输出控制装置以及输出控制方法。基于摄像装置在摄像范围内所拍摄的拍摄图像,计算拍摄图像所包含的一个或多个行人各自的移动速度的变化。在摄像范围内存在移动速度降低的行人的情况下,由于行人对存储信息关注,故存储信息输出装置所输出的存储信息从通常的存储信息切换为详细的内容。另外,在摄像范围内只存在移动速度恒定的行人的情况下,由于行人对存储信息不关注,故存储信息输出装置继续输出通常的存储信息。

Description

存储信息输出系统、输出控制装置以及输出控制方法
技术领域
本发明涉及输出存储信息(content)的存储信息输出系统、控制存储信息的切换输出的输出控制装置以及输出控制方法。
背景技术
数字标牌(电子看板)是利用数字技术的广告介质,向设置于店铺或公共空间等的存储信息输出装置输出作为例如商业用途的广告的存储信息。存储信息输出装置应输出的存储信息,与存储信息输出装置的设置场所、现在时刻、或在存储信息输出装置的附近是否存在行人等对应地静态或动态地变更。在将存储信息静态地变更的情况下,例如,存储信息输出装置的输出控制装置,依次切换多个存储信息并向存储信息输出装置输出。
在将存储信息动态地变更的情况下,例如,存储信息输出装置的输出控制装置,从拍摄存储信息输出装置的附近的摄像装置取得图像(以下,称为拍摄图像),对取得的拍摄图像进行用于检测行人的有无或人数等的人物识别处理,将多个存储信息与人物识别处理的结果对应地进行切换,向存储信息输出装置输出。另外,能够在进行人物识别处理的同时进行行人的面部识别处理的情况下,得到与行人相关的详细的信息(例如行人的性别或年龄层)。在该情况下,能够与得到的信息对应地将存储信息切换为适当的存储信息、或应对广告效果的评价起作用地收集所得到的信息。
作为将存储信息动态地变更的其他的例子,举出检测行人的移动速度,并与检测到的移动速度的高低对应地切换存储信息的信息输出装置(参照日本特开2006-235311号公报)。移动速度低的行人对存储信息关注的可能性较高,移动速度高的行人对存储信息关注的可能性较低。因此,根据日本特开2006-235311号公报所记载的信息输出装置,能够与行人对存储信息关注的可能性是否高对应地将存储信息切换为适当的存储信息。其结果是,能够提高基于存储信息的广告效果。
然而,以往,提出有室内已知环境的实时的人物追踪技术的方案(参照加藤博一、中泽笃志、井口征士所著的《使用椭圆体模型的实时人物追踪》,信息处理学会论文杂志,Vol.40、No.11、p.4087-4096)。
行人的移动速度存在个人差异。因此,缓慢地移动的行人未必一定关注存储信息,也可能仅是从存储信息输出装置前走过。另外,迅速移动的行人也可能对存储信息关注。因此,基于日本特开2006-235311号公报所记载的信息输出装置的情况,可能产生在存储信息输出装置没有输出适当的存储信息的不妥。
为了消除这样的不妥,考虑对拍摄图像进行面部识别处理。在该情况下,能够正确地判断行人的面部是否朝向存储信息输出装置的方向,即,行人是否对存储信息关注。然而,由于面部识别处理的顺序一般是繁琐的,因此特别是在行人的数量较多的情况下,计算负荷非常大。
发明内容
本发明是鉴于这种事情而形成的,其主要的目的是,通过构成为与拍摄图像所包含的人物的移动速度的变化对应地切换输出多个存储信息,来提供能够与行人是否对存储信息关注对应地输出适当的存储信息的存储信息输出系统、输出控制装置以及输出控制方法。
本发明所涉及的存储信息输出系统具备:摄像装置;存储装置,其存储多个存储信息;存储信息输出装置,其输出存储装置所存储的存储信息;以及输出控制装置,其按时间序列被输入摄像装置所拍摄的图像,且基于被输入的图像来控制基于存储信息输出装置进行的存储信息的切换输出;输出控制装置具备:人物判断部,其基于所述图像,判断在该图像是否包含有人物;变化计算部,其在人物判断部判断在所述图像中包含有人物的情况下,计算所述图像中所包含的人物的移动速度的变化;以及输出控制部,其从存储装置所存储的存储信息之中选择与变化计算部的计算结果以及人物判断部的判断结果对应的存储信息并使存储信息输出装置输出所述存储信息。
本发明所涉及的输出控制装置,其按时间序列输入图像,基于输入的图像,控制在外部的多个存储信息的切换输出,该输出控制装置具备:人物判断部,其基于所述图像判断在该图像中是否包含有人物;变化计算部,其在人物判断部判断在所述图像中包含有人物的情况下,计算所述图像所包含的人物的移动速度的变化;以及输出控制部,其选择与变化计算部的计算结果以及人物判断部的判断结果对应的存储信息并输出所述存储信息。
本发明所涉及的输出控制方法,按时间序列被输入图像的输出控制装置基于被输入的图像来控制在外部的多个存储信息的切换输出,该输出控制方法在所述图像中包含有人物的情况下,计算所述图像所包含的人物的移动速度的变化,选择与该变化的计算结果以及在所述图像是否包含有人物对应的存储信息并输出所述存储信息。
本发明的输出控制装置具备:人物判断部、变化计算部、以及输出控制部。这样的输出控制装置实现本发明所涉及的输出控制方法,另外,与摄像装置、存储装置、以及存储信息输出装置一并构成本发明所涉及的存储信息输出系统。另外,本发明所涉及的计算机程序使用计算机的硬件要素而软件地实现本发明的输出控制装置所具备的各种部分。
摄像装置,例如,其拍摄在存储信息输出装置的附近存在的人物可视听存储信息输出装置所输出的存储信息(静止图像、动态图像、以及/或声音等)的范围。以下,将摄像装置所拍摄的范围称为摄像范围。
摄像装置所拍摄的图像向输出控制装置按时间序列被输入。输出控制装置基于被输入的图像来控制基于存储信息输出装置的多个存储信息的切换输出。因此,输出控制装置的人物判断部基于被输入的图像来判断在输入的图像中是否包含有人物。在输入的图像中包含有(或不包含)人物的情况是指,可视听存储信息的人物存在(或不存在)的情况。以下,将可视听存储信息的人物称为视听可能者。视听可能者一般地是通过摄像范围的行人,对存储信息感兴趣的视听可能者对存储信息关注,对存储信息不感兴趣的视听可能者对存储信息不关注。在对存储信息输出装置所输出的存储信息关注的情况下,视听可能者在摄像范围内降低移动速度或止步的可能性较高。另外,没兴趣对存储信息输出装置所输出的存储信息关注的视听可能者,在摄像范围内降低移动速度或止步的可能性较低。
以上那样的趋势,视听可能者的移动速度本身的高低难以被左右。因此,视听可能者的移动速度的变化与视听可能者的移动速度本身相比,能忠实地反映视听可能者是否对存储信息关注。
因此,在人物判断部判断在输入的图像中包含有人物的情况下,变化计算部计算在输入的图像中所包含的视听可能者的移动速度的变化。此处,基于变化计算部的计算处理,比例如面部识别处理简单,计算负荷小。另外,输出控制部从存储装置所存储的多个存储信息之中选择与变化计算部的计算结果(即,视听可能者是否对存储信息关注的指标)、以及人物判断部的判断结果(即,视听可能者是否存在)对应的存储信息并使存储信息输出装置输出所述存储信息。
以上的结果是,与摄像范围内的状况对应的适当的存储信息利用存储信息输出装置被输出。
在本发明中,能够相应于在摄像范围内是否存在视听可能者、并且在视听可能者存在时视听可能者是否对存储信息关注,来向视听可能者提供适当的存储信息。并且,由于能够基于视听可能者的移动速度的变化来判断视听可能者是否对存储信息关注,故与基于视听可能者的移动速度本身来进行判断的情况相比,能够正确地判断视听可能者是否对存储信息关注。另外,用于判断视听可能者是否对存储信息关注的处理,与例如面部识别处理相比是简易的。因此,即便是存在多数的视听可能者的情况,也能够抑制计算负荷增大的不妥。
本发明所涉及的输出控制装置还具备速度判断部,该速度判断部判断变化计算部的计算结果是否表示移动速度的降低,输出控制部具有:第一输出部,其在人物判断部或速度判断部判断为否的情况下输出第一存储信息;以及第二输出部,其对于至少一个人物,在速度判断部判断变化计算部的计算结果表示移动速度的降低的情况下,替代第一存储信息而输出与该第一存储信息不同的第二存储信息。
当视听可能者降低移动速度或止步时,变化计算部的计算结果表示移动速度的降低。另外,在视听可能者不降低移动速度或者不止步的情况下,变化计算部的计算结果表示移动速度的上升、或表示超过移动速度“0”的移动速度的维持。因此,在速度判断部判断变化计算部的计算结果表示移动速度的降低的情况下,对存储信息关注的视听可能者(以下,称为视听者)存在。另外,在速度判断部判断为否(即,变化计算部的计算结果不表示移动速度的降低)的情况下,对存储信息不关注的视听可能者存在。
因此,输出控制部在人物判断部判断为否(即,在输入的图像不包含有人物)、或速度判断部判断为否的情况下,使第一存储信息向存储信息输出装置输出。另外,输出控制部,对于至少一个视听可能者,在速度判断部判断变化计算部的计算结果表示移动速度的降低的情况下,替代第一存储信息而使存储信息输出装置输出第二存储信息。
以上的结果,输出控制装置能够使与摄像范围内的状况对应的最适当的存储信息向存储信息输出装置输出。
更详细地,在摄像范围视听可能者本身不存在、或仅有对存储信息不关注的视听可能者存在的情况下,利用输出控制装置的控制,存储信息输出装置能够输出第一存储信息。此处,优选为,第一存储信息是吸引存在于摄像范围之外的人物、以及对存储信息不关注的视听可能者的视听的存储信息。另外,在视听者即便存在一人的情况下,存储信息输出装置能够利用输出控制装置的控制,输出第二存储信息。此处,优选第二存储信息为应向视听者特别地提供的存储信息。
本发明所涉及的输出控制装置,速度判断部在变化计算部的计算结果为移动速度的规定比例以上的降低的情况下,判断变化计算部的计算结果为移动速度的降低。
本发明中,速度判断部在变化计算部的计算结果为移动速度的规定比例以上的降低的(即,视听可能者的移动速度大幅度地降低的)情况下,判断变化计算部的计算结果为移动速度的降低。另外,在变化计算部的计算结果为未达到移动速度的规定比例的降低的情况(即,视听可能者的移动速度稍微降低的情况)下,速度判断部判断变化计算部的计算结果为移动速度没有降低。因此,存在下述趋势:即使是对存储信息输出装置所输出的存储信息不感兴趣的视听可能者,有时也会因与存储信息无关的理由稍微降低移动速度,而对存储信息输出装置所输出的存储信息感兴趣的视听可能者,为了关注存储信息而大幅度地降低移动速度。
以上的结果是,输出控制装置能够抑制向对存储信息不关注的视听可能者提供第二存储信息的不妥。
本发明所涉及的输出控制装置还具备:距离计算部,其在人物判断部判断在所述图像包含有人物的情况下,计算从规定位置到所述人物的距离;以及距离判断部,其判断距离计算部的计算结果是否在规定距离以下;距离判断部针对判断距离计算部的计算结果为规定距离以下的所述人物,实行基于变化计算部的计算。
在人物判断部判断在输入的图像包含有人物的情况下,距离计算部计算从规定位置到视听可能者的距离。此处,规定位置是指,例如存储信息输出装置的设置位置、或最易于视听存储信息输出装置所输出的存储信息的位置等。接下来,距离判断部判断距离计算部的计算结果是否在规定距离以下。
在距离计算部的计算结果在规定距离以下的情况下,即,在从规定位置到视听可能者的距离较短的情况下,视听可能者对存储信息关注的可能性较高。因此,在接近规定位置的视听可能者降低移动速度或者止步的情况下,该视听可能者对存储信息关注的可能性非常高。因此,变化计算部针对距离判断部判断距离计算部的计算结果在规定距离以下的视听可能者,计算在输入的图像所包含的视听可能者的移动速度的变化。
另外,在距离计算部的计算结果超过规定距离的情况下,即,在从规定位置到视听可能者的距离较长的情况下,视听可能者对存储信息关注的可能性变低。因此,即便距离规定位置较远的视听可能者降低移动速度或者止步,该视听可能者对存储信息关注的可能性也非常低。因此,对存储信息感兴趣的视听可能者,比起距离很远视听存储信息,应该到规定位置的附近进行视听。因此,即便忽略距离规定位置较远的视听可能者也没有特别的问题。
因此,变化计算部,关于距离判断部判断为否(即,距离计算部的计算结果超过规定距离)的视听可能者,即,尽管不计算移动速度的变化、也看作是对存储信息不关注的视听可能者,不计算移动速度的变化。即,输出控制装置能够省略无用的计算处理。
以上的结果是,输出控制装置能够减少计算负荷并正确地判断视听者是否存在。
本发明所涉及的输出控制装置还具备记录部,在变化计算部的计算结果表示移动速度的降低的人物存在的情况下,该记录部记录与基于该人物的存储信息的视听相关的视听信息。
记录部在变化计算部的计算结果表示移动速度的降低的视听可能者(即,对存储信息关注的视听可能者。以下,对存储信息关注的视听可能者也称为视听者)存在的情况下,记录与基于该视听者的存储信息的视听相关的视听信息。此处,视听信息优选形成为基于存储信息的广告效果的高低的指标,例如,是表示视听者的人数的信息。在该例中,输出控制装置能够不计数视听可能者本身的人数,而是只计数在视听可能者中的、视听者的人数。即,输出控制装置能够收集给予基于存储信息的广告效果的正确的评价的视听信息。
本发明所涉及的输出控制装置还具备:面部识别部,该面部识别部基于输入的图像,识别变化计算部的计算结果表示移动速度的降低的人物的面部,记录部在应记录的视听信息中包含基于面部识别部的识别结果的信息。
面部识别部基于输入的图像,识别变化计算部的计算结果表示移动速度的降低的视听可能者(即视听者)的面部。即,面部识别部不识别视听可能者中的、对存储信息不关注的视听可能者的面部。即,由于输出控制装置不需要对视听可能者全员实行面部识别处理,故能够以比较短的时间来结束繁琐的面部识别处理。
另外,记录部在应记录的视听信息中包含基于面部识别部的识别结果的信息。该信息优选形成为基于存储信息的广告效果的高低的指标的存储信息,例如,表示视听者的性别或年龄层等的信息、或从输入的图像仅切出包含视听者的面部的区域的部分图像等。
以上的结果,输出控制装置能够不进行徒劳地长时间的计算,而进一步给予基于存储信息的广告效果的正确的评价。
附图说明
图1是表示本发明的实施方式1所涉及的存储信息输出系统的结构的框图;
图2A以及图2B是说明基于本发明的实施方式1所涉及的存储信息输出系统的视听者的识别的概念图;
图3是表示存储于本发明的实施方式1所涉及的输出控制装置所具备的HDD(硬盘)的存储信息表的一例的示意图;
图4A至图4C是说明基于本发明的实施方式1所涉及的存储信息输出系统的存储信息的切换输出的概念图;
图5A以及图5B是表示利用本发明的实施方式1所涉及的输出控制装置而被实行的视听者识别处理的顺序的流程图;
图6A以及图6B是表示利用本发明的实施方式1所涉及的输出控制装置而被实行的输出控制处理的顺序的流程图;
图7是表示本发明的实施方式2所涉及的存储信息输出系统的结构的框图;以及
图8是表示存储于本发明的实施方式2所涉及的输出控制装置所具备的HDD的视听记录DB(数据库)的一例的示意图。
具体实施方式
以下,基于表示本发明的实施方式的附图,对本发明进行详细的说明。
实施方式1
图1是表示本发明的实施方式1所涉及的存储信息输出系统1的结构的框图。存储信息输出系统1具备:摄像装置2、存储信息输出装置3、存储装置4、以及输出控制装置5。在本实施方式中,虽例示存储信息输出系统1在商店被利用的情况,但并不局限于此。
图2A、图2B是说明基于存储信息输出系统1的视听者的识别的概念图,是表示在道路通过的五个行人M1~M5、被设置于面向道路的商店的摄像装置2以及存储信息输出装置3的示意性的俯视图。
图2A、图2B所包含的白箭头S1、S2的长/短,表示行人M1~M5各自的移动速度的高/低。更详细地,较长的白箭头S1表示:行人很难一边以其移动速度进行移动一边视听存储信息输出装置3所输出的存储信息的高移动速度,较短的白箭头S2表示:行人易于一边以其移动速度进行移动一边视听存储信息输出装置3所输出的存储信息的低移动速度。图2A表示第一时刻的行人M1~M5各自的状态,图2B表示自第一时刻之后的第二时刻的行人M1~M5各自的状态。
存储信息输出装置3使用液晶显示器以及扬声器,输出由图像以及声音构成的存储信息。另外,存储信息输出装置3以将液晶显示器的显示画面以及扬声器的声音输出部朝向道路的状态被设置于店铺前。此外,存储信息输出装置3也可以是替代液晶显示器而使用等离子显示器构成的结构,也可以是不具备扬声器的结构。
存储信息输出装置3所输出的存储信息是商业用途的广告,更详细地,被区别为第一存储信息与第二存储信息。第一存储信息是与视听可能者的有无无关地被输出的存储信息,第二存储信息是仅在视听者存在的情况下被输出的存储信息。因此,第一存储信息优选为唤起被动地视听存储信息的视听可能者的兴趣,例如,使用以较大的文字书写了广告内容的主题的图像、以及巨大的效果音等。另外,第二存储信息应是为主动地视听存储信息的视听可能者(即视听者)特别提供的,例如,使用由较小的文字书写了广告内容的详情的图像、以及具体的消息语音等。
以下,在不区别第一存储信息以及第二存储信息的情况下,仅称为存储信息。
此外,存储信息并不局限于商业用途的广告。另外,第一存储信息与第二存储信息之间的差异也可以是使用静止图像而成还是使用动态图像而成,或是否输出语音等。
摄像装置2使用数码相机,与存储信息输出装置3一并被设置于店铺前。摄像装置2在图2A、2B所示那样的规定的摄像范围R内以恒定的时间间隔进行反复拍摄,将拍摄的图像(以下,称为拍摄图像)按时间序列向输出控制装置5输出。此外,摄像装置2也可以是使用数字录像摄像机而成的结构。
此处,摄像范围R是存储信息输出装置3的周围的适当的范围,具体地说,是行人可视听存储信息输出装置3所输出的存储信息的范围。因此,在图2A、图2B的例中,在摄像范围R的内侧移动的行人M1~M4分别是视听可能者,在摄像范围R的外侧移动的行人M5不是视听可能者。但是,在摄像范围R中的、接近存储信息输出装置3的范围,更详细地来说,距离存储信息输出装置3的设置位置的相隔距离在规定距离L以下的范围(图中,摄像范围R的双点划线的左侧的范围),是第一存储信息以及第二存储信息共同视听容易的范围。另外,距离存储信息输出装置3较远的范围,即,离存储信息输出装置3的相隔距离超过规定距离L的范围,是第一存储信息的视听容易而第二存储信息的视听困难的范围。
行人M1在图2A所示的第一时刻对存储信息输出装置3所输出的存储信息不感兴趣。这样的行人M1在第一时刻,在接近存储信息输出装置3的范围内以低速(白箭头S2)进行移动,即便在图2B所示的第二时刻,以与图2A所示的第一时刻相同的方式以低速(白箭头S2)进行移动。行人M2在第一时刻对存储信息输出装置3所输出的存储信息感兴趣。因此,行人M2虽在第一时刻在接近存储信息输出装置3的范围以高速(白箭头S1)进行移动,但在如图2B所示的第二时刻,为了关注存储信息输出装置3所输出的存储信息,以比在图2A所示的第一时刻的移动速度低的低速(白箭头S2)进行移动。
如以上那样,在图2B所示的第二时刻,行人M1,M2都是以易于视听存储信息输出装置3所输出的存储信息的低速(白箭头S2)进行移动。然而,行人M1是对存储信息不关注的视听可能者,行人M2是视听者。即,比起判断视听可能者的移动速度本身是否低,判断视听可能者的移动速度是否降低了,更能提高是否是视听者的判断精度。并且,由于不需要为了判断是否是视听者而执行面部识别处理那样繁琐的处理,故减少了计算负荷。
行人M3在图2A所示的第一时刻以高速(白箭头S1)进行移动,在图2B所示的第二时刻时也与图2A所示的第一时刻相同地以高速(白箭头S1)进行移动。这样,移动速度不降低的行人M3是不关注存储信息的视听可能者。行人M4在第一时刻以高速(白箭头S1)进行移动,在图2B所示的第二时刻时,以比图2A所示的第一时刻的移动速度低的低速(白箭头S2)进行移动。然而,行人M4在第一时刻以及第二时刻都在距离存储信息输出装置3较远的范围内进行移动。因此,行人M4是对存储信息不关注的视听可能者,行人M4减速的理由与存储信息输出装置3所输出的存储信息无关。
即,不仅通过进行视听者的移动速度是否降低的判断,还通过进行距离视听者的规定位置(在该情况下,存储信息输出装置3的设置位置)的相隔距离是否在规定距离L以下的判断,进一步地提高是否是视听者的判断精度。并且,由于距离规定位置的相隔距离超过规定距离L的视听可能者,不需要根据判断移动速度是否降低来判断是否是视听者(即,不进行判断也能够得到不是视听者的结论),故进一步减少了计算负荷。
即使行人M4作为视听者,对于在距离存储信息输出装置3较远的范围进行移动的行人M4,第二存储信息是视听困难的。因此,将行人M4判断为视听者而向行人M4提供第二存储信息也是无益的。即,将行人M4判断为不是视听者没有特别的问题。
此外,存储信息输出系统1在判断是否是视听者时,也可以是不考虑距离视听者的规定位置的相隔距离的结构。例如,与距离存储信息输出装置3的设置位置的相隔距离无关地,视听可能者只要是能够容易地视听存储信息输出装置3所输出的第一存储信息或第二存储信息即可,未必需要考虑相隔距离。
图1所示的存储装置4,使用文件服务器而形成,存储存储信息输出装置3应输出的、多个存储信息各自的主体(例如存储信息的数据文件本身)。另外,存储装置4相应于输出控制装置5的要求,将被要求的存储信息向输出控制装置5提供。此外,存储装置4并不局限于文件服务器,例如,也可以是输出控制装置5外带或内置的存储器。
本实施方式的存储装置4存储4个第一存储信息C11~C14和3个第二存储信息C21、C22、C24(以下,将第二存储信息C21、C22、C24统称为第二存储信息C21~C24)。第一存储信息C11与第二存储信息C21对应,第二存储信息C21是表示第一存储信息C11的广告内容的详情的内容。同样地,第一存储信息C12(或第一存储信息C14)与第二存储信息C22(或第二存储信息C24)对应。与第一存储信息C13对应的第二存储信息不存在。
输出控制装置5使用PC(个人计算机)或服务器等通用机而构成,具备CPU50、ROM51、RAM52、HDD53、以及I/F部54。
I/F部54是分别将输出控制装置5、摄像装置2、存储信息输出装置3、以及存储装置4以有线或无线电可通信可地连接的接口。拍摄图像从摄像装置2经由I/F部54输入。存储信息从存储装置4经由I/F部54被提供。存储信息经由I/F部54向存储信息输出装置3提供。
此外,输出控制装置5与摄像装置2、存储信息输出装置3、以及/或存储装置4各自并不局限于利用专用线直接连结的结构,也可以是经由LAN或因特网等通信线路而连接的结构。另外,摄像装置2、存储信息输出装置3、存储装置4、以及/或输出控制装置5也可以一体地被设置。另外,也可以是存储信息从存储装置4直接地向存储信息输出装置3提供的结构。
CPU50是输出控制装置5的控制中枢,将RAM52作为操作区域而使用,根据ROM51以及HDD53所存储的计算机程序以及数据来控制装置各部分的动作,实行各种处理。HDD53是输出控制装置5的辅助存储部,利用CPU50读写各种计算机程序或数据。此外,输出控制装置5并不局限于HDD53,也可以是具备SSD的结构。
在HDD53的存储区域的一部分,存储有本发明的实施方式的计算机程序5p。计算机程序5p被存储于具有可移动性的记录介质而被散发,或经由通信线路而被分发,被安装于输出控制装置5。或者,计算机程序5p在输出控制装置5的制造时被安装于输出控制装置5。
此外,计算机程序5p并不局限于在输出控制装置5安装而实行的结构,也可以从具有可移动性的记录介质或发送起始地址读取并直接地实行。
在HDD53的存储区域的其他的一部分,向输出控制装置5输入的未图示的拍摄图像,与表示拍摄图像的顺序的信息(例如,拍摄图像的拍摄时刻)建立关联并被存储。在HDD53的存储区域的另外其他的一部分,预先存储有存储信息表5a。此外,存储信息表5a只要是CPU50自如地读出存储信息表5a的记录内容即可,也可以是例如被存储于存储装置4的结构。
图3是表示存储于HDD53的存储信息表5a的一例的示意图。在存储信息表5a,第一存储信息C11~C14的输出顺序、与第一存储信息C11~C14以及第二存储信息C21~C24各自的识别信息(例如存储信息的数据文件的文件名)建立关联地被存储。
输出控制装置5参照存储信息表5a,并且控制基于存储信息输出装置3的存储信息的切换输出。其结果是,在视听者不存在的情况下,存储信息输出装置3切换为第一存储信息C11、第一存储信息C12、第一存储信息C13、以及第一存储信息C14的顺序进行输出。另外,当第一存储信息C14的输出结束时,存储信息输出装置3再次开始第一存储信息C11的输出。
接下来,对视听者存在的情况进行说明。在第一存储信息C11(或第一存储信息C12、或第一存储信息C14)的输出中,在视听者出现的情况下,存储信息输出装置3将第一存储信息C11(或第一存储信息C12、或第一存储信息C14)切换为对应的第二存储信息C21(或第二存储信息C22、或第二存储信息C24)进行输出。并且,存储信息输出装置3在视听者存在期间,持续反复地输出第二存储信息C21(或第二存储信息C22、或第二存储信息C24)。
之后,当视听者不存在时,存储信息输出装置3将输出中的第二存储信息切换为与输出中的第二存储信息对应的第一存储信息的接下来应输出的第一存储信息。因此,例如,输出第二存储信息C21的存储信息输出装置3在视听者不存在时,中断第二存储信息C21的输出,开始第一存储信息C12的输出。
此外,在视听者存在期间,并不局限于反复输出第二存储信息C21的结构,也可以是第二存储信息C21被规定次数输出之后、开始第一存储信息C12的输出的结构。
另外,在不存在对应的第二存储信息的第一存储信息C13的输出中,在视听者出现的情况下,存储信息输出装置3继续第一存储信息C13的输出。并且,存储信息输出装置3在视听者存在期间持续反复地输出第一存储信息C13。之后,在视听者消失了时,存储信息输出装置3输出第一存储信息C13直到最后,然后开始第一存储信息C14的输出。
此外,在视听者存在期间,并不局限于第一存储信息C13被反复输出的结构,也可以是第一存储信息C13被输出规定次数之后,开始第一存储信息C14的输出的结构。
如以上那样,与视听者的有无无关地,输出中的第一存储信息被输出直到最后,当在第二存储信息的输出中视听者不存在时,输出中的第二存储信息被中断,被切换为第一存储信息。因为,视听者不存在,故继续输出第二存储信息也无益。
此外,与视听者的有无无关地,暂时开始了输出的第二存储信息也可以是继续输出直到最后的结构。另外,也可以是当在不存在对应的第二存储信息的第一存储信息的输出中视听者不存在时,输出中的第一存储信息被中断,被切换为接下来的第一存储信息的结构。
图4A至图4C是说明基于存储信息输出系统1的存储信息的切换输出的概念图。图中的时刻t11、t12、...、t16设为t11<t12<...<t16。
在图4A例示视听者不存在的情况下。在该情况下,存储信息输出装置3在时刻t11之后、直到时刻t12输出第一存储信息C11,在时刻t12之后、直到时刻t13输出第一存储信息C12,在时刻t13之后、直到时刻t14输出第一存储信息C13,在时刻t14之后、直到时刻t15输出第一存储信息C14,在时刻t15之后、直到时刻t16输出第一存储信息C11。
图4B例示在t12<t21<t13的时刻t21的时刻视听者出现、在t14<t22<t15的时刻t22的时刻视听者消失的情况。在该情况下,存储信息输出装置3在时刻t12之后输出第一存储信息C12,在时刻t21之后、直到时刻t22反复输出第二存储信息C22,在时刻t22之后输出第一存储信息C13。
图4C例示在t13<t31<t14的时刻t31的时刻视听者出现、在t14<t32<t15的时刻t32的时刻视听者消失的情况。在该情况下,存储信息输出装置3在时刻t13之后、直到时刻t14输出第一存储信息C13,在时刻t14之后、直到时刻t15再次输出第一存储信息C13,在时刻t15之后、直到时刻t16输出第一存储信息C14。
图5A、图5B表示利用输出控制装置5实行的视听者识别处理的顺序的流程图。为了实现该视听者识别处理,例如,挪用被记载于所述的文献“使用椭圆体模型的实时人物追踪”的人物追踪技术。
首先,CPU50对表示视听者的有无的视听者标志进行复位(S11)。视听者标志被设置(或复位)的情况意味着视听者存在(或不存在)。接下来,CPU50在存储于HDD53的拍摄图像中,选择一枚未进行后述的S13的处理且最早的拍摄图像(S12)。在S12中应选择的拍摄图像未存储于HDD53的情况下,CPU50只要等待直至拍摄图像存储于HDD53即可。
接下来,CPU50对在S12中选择的拍摄图像实施视听可能者识别处理(S13)。因此,CPU50计算例如在S12中选择的拍摄图像与预先存储于HDD53的标准图像之间的差分。此处,标准图像是指在视听可能者不存在的情况下摄像装置2所拍摄的拍摄图像。接下来,CPU50基于S13的处理结果,判断在S12中选择的拍摄图像是否包含有视听可能者(S14)。因此,CPU50判断例如在S13中计算的拍摄图像与标准图像之间的差分是否是表示人物的差分。实行S14的处理的CPU50,作为本发明的实施方式的人物判断部而发挥功能。
在S12中选择的拍摄图像不包含有视听可能者的情况(在S14中为“否”)下,CPU50将处理向S12返回。在S12中选择的拍摄图像包含有视听可能者的情况(在S14中为“是”)下,CPU50在S12中选择的拍摄图像所包含的视听可能者之中,从未进行后述的S16以下的处理的人中选择一人(S15)。
接下来,CPU50计算在S15中选择的视听可能者、与规定位置之间的相隔距离(S16)。因此,CPU50,例如,扫描构成拍摄图像的像素,在构成S15中选择的视听可能者的图像的像素之中,选出代表性的像素,计数存在于选出的像素与规定像素之间的像素的个数,使用所提供的距离换算用函数或距离换算用表等将计数结果换算为相隔距离。实行S16的处理的CPU50,作为本发明的实施方式的距离计算部而发挥功能。接下来,CPU50判断在S16中计算的相隔距离是否是在规定距离L以下(S17)。实行S17的处理的CPU50作为本发明的实施方式的距离判断部而发挥功能。
在S16中计算的相隔距离在规定距离L以下的情况(在S17中为“是”)下,CPU50将处理移向后述的S20。在S16中的计算的相隔距离超过规定距离L的情况(在S17中为“否”)下,CPU50决定将在S15中选择的视听可能者设为后段的处理的对象之外(即,排除)(S18)。以下,将利用S18的处理排除的视听可能者称为排除者。
接下来,CPU50判断在S12中选择的拍摄图像是否仅包含排除者(S19)。在S12中选择的拍摄图像仅包含排除者的情况(在S19中为“是”),由于位于接近存储信息输出装置3的范围的视听可能者不存在,故CPU50将处理向S12返回。在S12中选择的拍摄图像包含排除者之外(即,未被排除的视听可能者、或未进行S16之后的处理的视听可能者)的情况下(在S19中为“否”),CPU50将处理移向S20。
CPU50判断在S12中选择的拍摄图像所包含的视听可能者是否是全员在S15中被选择了(S20),在S12中选择的拍摄图像包含有未在S15中选择的视听可能者的情况下(在S20中为“否”),将处理向S15返回。在S12中选择的拍摄图像所包含的视听可能者全员在S15中选择结束的情况下(在S20中为“是”),CPU50判断是否在S12中选择的拍摄图像所包含的视听可能者之中,至少1人在到上一次为止实行的后述的S34的处理中作为视听者而认定结束(S21)。
在认定结束的视听可能者包含至少一个的情况(在S21中为“是”)下,CPU50将处理向S12返回。因此,由于在到上一次为止实行的后述的S33的处理中设置了视听者标志,故无需再次设置视听者标志。在作为视听者、认定结束的视听可能者连一人都不包含的情况(在S21中为“否”)下,CPU50判断是否在连续的三个拍摄图像全部中至少包含有一个相同的视听可能者(S22)。此处,连续的三个拍摄图像是指,在这次的S12中选择的拍摄图像、与在上一次的S12中选择的拍摄图像以及在上上次的S12中选择的拍摄图像(即,在这次的S12中选择的拍摄图像的前一个以及前两个所拍摄的拍摄图像)。因此,在S12的处理未执行3次以上的情况下,S22的CPU50自动地判断为“否”。
在连续的三个拍摄图像不存在、或在连续的三个拍摄图像之中至少一个缺少相同的视听可能者的情况(在S22中为“否”)下,由于不能计算视听可能者的移动速度的变化,故CPU50将处理向S12返回。在连续的三个拍摄图像全部包含至少一个相同的视听可能者的情况(在S22中为“是”)下,CPU50分别对相同的视听可能者计算视听可能者的移动速度的变化(S31)。实行S31的处理的CPU50,作为本发明的实施方式的变化计算部而发挥功能。
S31的CPU50基于连续的三个拍摄图像之中、连续的两个拍摄图像(即,在这次以及上一次的S12中选择的拍摄图像、以及在上一次以及上上次的S12中选择的拍摄图像),计算各视听可能者的移动距离。接下来,CPU50通过将计算的移动距离用基于摄像装置2的拍摄的时间间隔除算,来计算各视听可能者的现在的移动速度与过去的移动速度。另外,CPU50通过从视听可能者的过去的移动速度减去现在的移动速度,来计算各视听可能者的移动速度的变化。
在S31的处理结束后,CPU50判断是否有至少一个视听可能者的移动速度降低(S32)。但是,S32的CPU50在S31中计算的移动速度的变化为移动速度的规定比例以上的降低的情况下,判断为移动速度的降低。具体地说,例如,在过去的移动速度为时速4km、现在的移动速度为时速5km(或时速4km)的情况下,移动速度的减去结果形成为负值(或“0”)。因此,被看作视听可能者进行了加速(或以等速进行移动)。在该情况下,CPU50判断在S31中计算的移动速度的变化不表示移动速度的降低。
另外,例如,在过去的移动速度为时速4km、现在的移动速度为时速3km或时速2km(或时速0km)的情况下,移动速度的减法计算结果形成为正值。因此,视听可能者被看作减速(或停止)。在移动速度的减法计算结果为正值的情况下,CPU50求得视听可能者的减速率。减速率是将移动速度的减法计算结果除以过去的移动速度的百分率。该例的减速率为25%(={4-3}/4×100),50%(={4-2}/4×100),或100%(={4-0}/4×100)。
如果作为判断标准的规定比例为50%,在过去的移动速度为时速4km、现在的移动速度为时速2km或时速0km(或时速3km)的情况下,CPU50判断在S31中计算的移动速度的变化表示移动速度的降低(或不表示移动速度的降低)。实行S32的处理的CPU50,作为本发明的实施方式的速度判断部而发挥功能。
在视听可能者的移动速度不降低的情况(在S32中为“否”)下,视听者不存在。因此,CPU50将处理向S11返回。其结果是,视听者标志被复位。另外,在至少一个视听可能者的移动速度降低的情况(在S32中为“是”)下,视听者存在。因此,CPU50设置视听者标志(S33),将移动速度降低的视听可能者作为视听者认定(S34),然后将处理向S12返回。
图6A、图6B是表示利用输出控制装置5实行的输出控制处理的顺序的流程图。该输出控制处理与图5A、图5B所示的视听者识别处理的实行同时进行,并且S11的处理在最初实行之后被实行。实行输出控制处理的CPU50,作为本发明的实施方式的输出控制部而发挥功能。
首先,CPU50参照存储信息表5a(S51),选择应使存储信息输出装置3输出的第一存储信息(S52)。如果存储信息输出装置3未输出任何的存储信息,则应在S52中选择的第一存储信息为第一存储信息C11。另外,如果存储信息输出装置3正在输出例如第一存储信息C11(或第一存储信息C14),则应在S52中选择的第一存储信息为第一存储信息C12(或第一存储信息C11)。
在S52的处理结束之后,CPU50给存储装置4要求在S52中选择的第一存储信息(S53)。此时,存储装置4将被要求的第一存储信息向输出控制装置5提供。接下来,CPU50判断是否是应开始在S52中选择的第一存储信息的输出的时机(S54)。在存储信息输出装置3未输出任何的存储信息的情况下,S54的CPU50立即判断为“是”。另外,在存储信息输出装置3正在输出例如第一存储信息的情况下,S54的CPU50在输出中的第一存储信息的输出结束的时机判断为“是”。
在应开始在S52中选择的第一存储信息的输出的时机的情况(在S54中为“是”)下,CPU50将在S52中选择的第一存储信息向存储信息输出装置3输出(S55)。此时,CPU50将作为S53的处理的结果而从存储装置4取得的第一存储信息的数据向存储信息输出装置3提供。并且,CPU50继续在S55中实行的第一存储信息的输出控制,并且将处理向S51返回。通过重复S51~S55的处理,存储信息输出装置3依次切换第一存储信息C11~C14进行输出。
在不是应开始在S52中选择的第一存储信息的输出的时机的情况(在S54中为“否”)下,CPU50判断是否设置有视听者标志(S56),在复位视听者标志的情况(在S56中为“否”)下,将处理向S54返回。在设置视听者标志的情况(在S56中为“是”)下,CPU50参照存储信息表5a(S57),判断与存储信息输出装置3正在输出中的第一存储信息对应的第二存储信息是否存在(S58)。如果存储信息输出装置3正在输出第一存储信息C13(或除第一存储信息C13之外的第一存储信息),则S58的CPU50判断为“否”(或“是”)。
在与正在输出中的第一存储信息对应的第二存储信息不存在的情况(在S58中为“否”)下,CPU50判断是否是应开始正在输出中的第一存储信息(具体地说第一存储信息C13)的再输出的时机(S59)。S54的CPU50在正在输出中的第一存储信息的输出结束的时机判断为“是”。在是应开始第一存储信息的再输出的时机的情况(在S59中为“是”)下,CPU50将输出中的第一存储信息向存储信息输出装置3再输出(S60)。
并且,CPU50继续在S60中实行的第一存储信息的再输出控制,并且将处理向S59返回。通过重复S59以及S60的处理,存储信息输出装置3反复输出相同的第一存储信息。
在不是应开始第一存储信息的再输出的时机的情况(在S59中为“否”)下,CPU50判断是否复位视听者标志(S61),在设置有视听者标志的情况(在S61中为“否”)下,将处理向S59返回。在复位视听者标志的情况(在S61中为“是”)下,CPU50将处理向S51返回。之后,利用S52的处理,选择正在输出中的第一存储信息的接下来的第一存储信息(具体地说第一存储信息C14)。
在与正在输出中的第一存储信息对应的第二存储信息存在的情况(在S58中为“是”)下,CPU50给存储装置4要求对应的第二存储信息(S71)。此时,存储装置4将要求的第二存储信息向输出控制装置5提供。
接下来,CPU50使在存储信息输出装置3中断正在输出中的第一存储信息的输出(S72),另外,使对应的第二存储信息向存储信息输出装置3输出(S73)。此时,CPU50将作为S71的处理的结果而从存储装置4取得的第二存储信息的数据向存储信息输出装置3提供。
并且,CPU50继续在S73中实行的第二存储信息的输出控制,并且将处理移向S74。通过实行S72以及S73的处理,存储信息输出装置3替代第一存储信息而输出第二存储信息。
CPU50判断是否复位视听者标志(S74),在设置有视听者标志的情况(在S74中为“否”)下,判断是否是应开始正在输出中的第二存储信息的再输出的时机(S75)。S75的CPU50在正在输出中的第二存储信息的输出结束的时机判断为“是”。
在是应开始第二存储信息的再输出的时机的情况(在S75中为“是”)下,CPU50将输出中的第二存储信息向存储信息输出装置3再输出(S76)。并且,CPU50继续在S76中实行的第二存储信息的再输出控制,并且将处理向S74返回。通过重复S75以及S76的处理,存储信息输出装置3反复输出相同的第二存储信息。
在不是应开始第二存储信息的再输出的时机的情况(在S75中为“否”)下,CPU50将处理向S74返回。在复位视听者标志的情况(在S74中为“是”)下,CPU50参照存储信息表5a(S77)选择应使存储信息输出装置3输出的第一存储信息(S78)。在S78中应选择的第一存储信息是与正在输出中的第二存储信息对应的第一存储信息的接下来的第一存储信息。
接下来,CPU50给存储装置4要求在S78中选择的第一存储信息(S79)。此时,存储装置4将被要求的第一存储信息向输出控制装置5提供。接下来,CPU50使存储信息输出装置3中断正在输出中的第二存储信息的输出(S80),另外,使存储信息输出装置3输出在S78中选择的第一存储信息(S81)。此时,CPU50将作为S79的处理的结果而从存储装置4取得的第一存储信息的数据向存储信息输出装置3提供。
并且,CPU50继续在S81中实行的第一存储信息的输出控制,并且将处理向S51返回。通过实行S80以及S81的处理,存储信息输出装置3替代第二存储信息而输出第一存储信息。
以上那样的存储信息输出系统1,不增大计算负荷地正确地判断视听者是否存在,另外,能够根据视听者是否存在,对视听者或对存储信息不关注的视听可能者提供适当的存储信息。
实施方式2.
图7是表示本发明的实施方式2所涉及的存储信息输出系统1的结构的框图。存储信息输出系统1具备摄像装置2、存储信息输出装置3、存储装置4、以及输出控制装置6。实施方式1的输出控制装置5软件性地实现本发明的实施方式的输出控制方法,本实施方式的输出控制装置6硬件性地实现本发明的实施方式的输出控制方法。其它,与实施方式1对应的部分标注相同的附图标记并省略其说明。
输出控制装置6是构成存储信息输出系统1的专用机,具备:CPU60、ROM61、RAM62、HDD63、视听判断部64、面部识别处理部65、通信部66、视听可能者识别部67、移动速度计算部68、切换判断部69、存储信息切换监听器70、以及存储信息调度程序71。CPU60是输出控制装置6的控制中枢,将RAM62作为操作区域使用,利用ROM61以及HDD63所存储的计算机程序以及数据来控制装置各部的动作,实行各种处理。
HDD63是输出控制装置6的辅助存储部,利用CPU60读写各种的计算机程序或数据。此外,输出控制装置6不限于HDD63,也可以是具备SSD的结构。在HDD63的存储区域的一部分,存储有视听记录DB6a。图8是表示视听记录DB6a的一例的示意图。
在视听记录DB6a,第一存储信息C11~C14各自的识别信息、与在基于存储信息输出装置3的各第一存储信息C11~C14的输出中被认定为是视听者的视听者数N1~N4、以及视听者的面部图像I11、I12、...~I41、I42、...建立关联地被保存。
此外,也可以构成为,替代面部图像I11、I12、...~I41、I42、...,或与面部图像I11、I12、...~I41、I42,...一并,分别基于面部图像I11、I12,...~I41、I42、...而计算出的视听者的特征(性别或年龄层等)被保存于视听记录DB6a。
视听者数以及视听者的面部图像(或视听者的特征)作为本实施方式的视听信息而发挥功能。摄像装置2所拍摄的拍摄图像按时间序列向视听可能者识别部67提供。
视听可能者识别部67对提供的拍摄图像,进行基于非专利文献1所记载的人物追踪技术的视听可能者追踪处理。视听可能者识别部67识别多个视听可能者,分别追踪识别的视听可能者。这样的视听可能者识别部67,作为本发明的实施方式的人物判断部而发挥功能。移动速度计算部68计算视听可能者识别部67所识别的视听可能者各自的移动速度。
切换判断部69基于移动速度计算部68所计算的移动速度来计算视听可能者各自的减速率,基于计算的减速率与距离视听可能者的规定位置的相隔距离来判断是否切换存储信息。这样的切换判断部69,作为本发明的实施方式的变化计算部、速度判断部、距离计算部、以及距离判断部而发挥功能。
存储信息切换监听器70基于切换判断部69的判断结果,将从第一存储信息向第二存储信息的切换(以下,称为第一~第二切换),或从第二存储信息向第一存储信息的切换(以下,称为第二~第一切换)向存储信息调度程序71要求。此处,第一~第二切换被要求于视听者出现的情况。第二~第一切换被要求于视听者消失的情况。
存储信息调度程序71储存有预先编辑的存储信息时间表7a。存储信息调度程序71,通常根据存储信息时间表7a从存储装置4取得第一存储信息C11~C14,按第一存储信息C11~C14的顺序切换该第一存储信息C11~C14,并使存储信息输出装置3输出。在从存储信息切换监听器70要求第一~第二切换的情况下,存储信息调度程序71查询存储装置4,来确认与正在输出中的第一存储信息对应的第二存储信息的有无。
在对应的第二存储信息存在的情况下,存储信息调度程序71替换正在输出中的第一存储信息,使存储信息输出装置3输出第二存储信息。在对应的第二存储信息不存在的情况下,存储信息调度程序71到从存储信息切换监听器70要求第二~第一切换为止,即在视听者存在期间,使存储信息输出装置3反复输出正在输出中的第一存储信息。
在第二存储信息的输出中,从存储信息切换监听器70要求第二~第一切换的情况下,存储信息调度程序71替代正在输出中的第二存储信息,使存储信息输出装置3输出第一存储信息。之后,存储信息调度程序71如通常那样根据存储信息时间表7a,按顺序切换第一存储信息C11~C14,使存储信息输出装置3输出。
在对应的第二存储信息不存在的第一存储信息的输出中,从存储信息切换监听器70要求第二~第一切换的情况下,存储信息调度程序71如通常那样根据存储信息时间表7a,按顺序切换第一存储信息C11~C14,使存储信息输出装置3输出。以上那样的存储信息调度程序71,作为本实施方式的输出控制部而发挥功能。
视听判断部64基于移动速度计算部68计算出的移动速度来计算视听可能者各自的减速率,基于计算的减速率与距离视听可能者的规定位置的相隔距离,来判断各视听可能者是否是视听者,将判断是视听者的人数与视听者出现时输出的第一存储信息建立关联,并保存于视听记录DB6a。这样的视听判断部64,作为本实施方式的变化计算部、速度判断部、距离计算部、距离判断部、以及记录部而发挥功能。
面部识别处理部65对在拍摄图像的内、包含视听判断部64判断是视听者的视听可能者的区域,进行公知的面部识别处理。接下来,面部识别处理部65将作为识别处理结果的视听者的面部图像与视听者出现时输出的第一存储信息建立关联,并保存于视听记录DB6a。这样的面部识别处理部65作为本实施方式的面部识别部以及记录部而发挥功能。此外,记录部以及/或面部识别部也可以是以软件实现的构成。
以上那样的存储信息输出系统1能够起到与实施方式1的存储信息输出系统1同样的效果。并且,为了得到视听者的面部图像,不需要对拍摄图像全体实施面部识别处理。因此,能够实行一般地繁琐的面部识别处理,减轻计算负荷。
另外,能够将保存于视听记录DB6a的数据在评价第一存储信息C11~C14各自的广告效果的情况下进行利用。例如,能够基于视听者数N1~N4和行人的总人数,简单地求得第一存储信息C11~C14各自的视听率。因此,利用通信部66,向存储信息输出系统1的管理者所具有通信装置,在适当地的时机发送被保存于视听记录DB6a的数据。
此外,在实施方式1、2中,也可以构成为在存储信息输出系统1不存在第二存储信息。在该情况下,视听者存在期间,第一存储信息被反复输出。另外,在实施方式2中,输出控制装置6也可以构成为不具备切换判断部69以及存储信息切换监听器70。在该情况下,与视听者的有无无关地,根据存储信息时间表7a,依次切换并输出第一存储信息C11~C14。但是,此时,也实行视听记录DB6a的视听者数以及视听者的面部图像的保存。
这次被公开的实施方式,全部的点仅是例示,并不被认为是限制性的实施方式。本发明的范围,并不局限于所述的内容,其意图包含与专利申请的范围均等的内容以及在专利申请的范围内的全部的变更。
另外,在具有本发明的效果的限度内,也可以在存储信息输出系统1以及/或输出控制装置5、6包含实施方式1、2没有公开的结构要素。

Claims (7)

1.一种存储信息输出系统,其具备:
摄像装置;
存储装置,其存储多个存储信息;
存储信息输出装置,其输出该存储装置所存储的存储信息;以及
输出控制装置,其按时间序列被输入所述摄像装置所拍摄的图像,且基于所输入的图像来控制基于所述存储信息输出装置进行的所述存储信息的切换输出,
所述存储信息输出系统的特征在于,
所述输出控制装置具备:
人物判断部,其基于所述图像来判断在该图像中是否包含有人物;
变化计算部,其在所述人物判断部判断在所述图像中包含有人物的情况下,计算所述图像所包含的人物的移动速度的变化;
输出控制部,其从所述存储装置所存储的存储信息之中,选择与所述变化计算部的计算结果以及所述人物判断部的判断结果对应的存储信息并使所述存储信息输出装置输出所述存储信息;以及
记录部,在所述变化计算部的计算结果表示移动速度的降低的所述人物存在的情况下,该记录部记录与基于该人物的存储信息的视听相关的视听信息。
2.一种输出控制装置,其按时间序列被输入图像,并基于被输入的图像来控制在外部的多个存储信息的切换输出,其特征在于,具备:
人物判断部,其基于所述图像来判断在该图像中是否包含有人物;
变化计算部,其在该人物判断部判断在所述图像中包含有人物的情况下,计算所述图像所包含的人物的移动速度的变化;
输出控制部,其选择与该变化计算部的计算结果以及所述人物判断部的判断结果对应的存储信息并输出所述存储信息;以及
记录部,在所述变化计算部的计算结果表示移动速度的降低的所述人物存在的情况下,该记录部记录与基于该人物的存储信息的视听相关的视听信息。
3.根据权利要求2所述的输出控制装置,其特征在于,
还具备速度判断部,该速度判断部判断所述变化计算部的计算结果是否表示移动速度的降低,
所述输出控制部具有:
第一输出部,其在所述人物判断部或所述速度判断部判断为否的情况下输出第一存储信息;以及
第二输出部,其对于至少一个所述人物,在所述速度判断部判断所述变化计算部的计算结果表示移动速度的降低的情况下,替代所述第一存储信息而输出与该第一存储信息不同的第二存储信息。
4.根据权利要求3所述的输出控制装置,其特征在于,
在所述变化计算部的计算结果表示移动速度的规定比例以上的降低的情况下,所述速度判断部判断所述变化计算部的计算结果为移动速度的降低。
5.根据权利要求2~4中任一项所述的输出控制装置,其特征在于,
还具备:
距离计算部,其在所述人物判断部判断在所述图像中包含有人物的情况下,计算从规定位置到所述人物的距离;以及
距离判断部,其判断该距离计算部的计算结果是否在规定距离以下;
针对该距离判断部判断为所述距离计算部的计算结果为规定距离以下的所述人物,所述变化计算部实行计算。
6.根据权利要求2~4中任一项所述的输出控制装置,其特征在于,
还具备面部识别部,该面部识别部基于所述图像,识别所述变化计算部的计算结果表示移动速度的降低的所述人物的面部,
所述记录部在应记录的视听信息中包含基于所述面部识别部的识别结果的信息。
7.一种输出控制方法,按时间序列被输入图像的输出控制装置基于被输入的图像来控制在外部的多个存储信息的切换输出,其特征在于,
在所述图像中包含有人物的情况下,计算所述图像所包含的人物的移动速度的变化,
选择与该变化的计算结果、以及在所述图像中是否包含有人物对应的存储信息并输出所述存储信息,
在所述变化的计算结果表示移动速度的降低的所述人物存在的情况下,记录与基于该人物的存储信息的视听相关的视听信息。
CN201110270223.6A 2010-09-08 2011-09-06 存储信息输出系统、输出控制装置以及输出控制方法 Active CN102402927B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010201251A JP5345113B2 (ja) 2010-09-08 2010-09-08 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム
JP2010-201251 2010-09-08

Publications (2)

Publication Number Publication Date
CN102402927A CN102402927A (zh) 2012-04-04
CN102402927B true CN102402927B (zh) 2014-09-03

Family

ID=45770323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110270223.6A Active CN102402927B (zh) 2010-09-08 2011-09-06 存储信息输出系统、输出控制装置以及输出控制方法

Country Status (3)

Country Link
US (1) US8976109B2 (zh)
JP (1) JP5345113B2 (zh)
CN (1) CN102402927B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5635559B2 (ja) * 2012-05-28 2014-12-03 ヤフー株式会社 表示装置、表示方法及び表示プログラム
CN103473511B (zh) * 2012-06-06 2016-08-24 华为技术有限公司 媒体播放方法及设备
JP5439549B2 (ja) * 2012-07-09 2014-03-12 株式会社東芝 情報処理装置、情報処理システム、サービス提供システムおよび情報処理方法
JP2017037159A (ja) * 2015-08-10 2017-02-16 キヤノン株式会社 画像表示装置、画像表示方法、及びプログラム
JP2018032174A (ja) * 2016-08-23 2018-03-01 富士ゼロックス株式会社 情報処理装置及びプログラム
CN108985228A (zh) * 2018-07-16 2018-12-11 百度在线网络技术(北京)有限公司 应用于终端设备的信息生成方法和装置
JP2020166523A (ja) * 2019-03-29 2020-10-08 株式会社ネクスウェイ 興味度情報取得システム、情報処理装置、及び情報処理プログラム
JP7371307B2 (ja) * 2020-06-08 2023-10-31 株式会社三鷹ホールディングス ポイントサイネージ効果指標化システム、ポイントサイネージ装置、並びにポイントサイネージ装置組込収容具

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049656A (ja) * 2003-07-29 2005-02-24 Nec Plasma Display Corp 表示システムおよび位置推測システム
JP2005157134A (ja) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP2006235311A (ja) * 2005-02-25 2006-09-07 Seiko Epson Corp 情報出力システム、情報出力装置、情報出力方法、情報出力プログラム、および記録媒体
JP2008197266A (ja) * 2007-02-09 2008-08-28 Sharp Corp 再生装置、再生システム、再生方法及びコンピュータプログラム
CN101470883A (zh) * 2007-12-26 2009-07-01 联想(北京)有限公司 广告播放方法和广告播放设备
JP2009301439A (ja) * 2008-06-16 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 情報提示システム、情報提示方法、情報提示プログラムとその記憶媒体
CN201383313Y (zh) * 2009-02-19 2010-01-13 李赛 互动广告牌以及网络式互动广告系统
JP2010102235A (ja) * 2008-10-27 2010-05-06 V-Sync Co Ltd 電子広告システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395852B (en) * 2002-11-29 2006-04-19 Sony Uk Ltd Media handling system
US8254626B2 (en) * 2006-12-22 2012-08-28 Fujifilm Corporation Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
JP2009276561A (ja) * 2008-05-14 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置及び映像表示システム
CN101878487B (zh) * 2008-09-29 2013-04-10 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
JP2010185962A (ja) * 2009-02-10 2010-08-26 Sharp Corp 情報表示装置及び情報表示方法
TW201033908A (en) * 2009-03-12 2010-09-16 Micro Star Int Co Ltd System and method for counting people flow
CN101853623A (zh) * 2009-04-03 2010-10-06 鸿富锦精密工业(深圳)有限公司 影像监控系统及具有该系统的资讯显示系统
JP2011008571A (ja) 2009-06-26 2011-01-13 Shunkosha:Kk 通行人流動データ生成装置、コンテンツ配信制御装置、通行人流動データ生成方法及びコンテンツ配信制御方法
CN102081890A (zh) * 2009-11-30 2011-06-01 鸿富锦精密工业(深圳)有限公司 资讯控制装置、方法及具有该资讯控制装置的资讯显示系统
JP2011248548A (ja) 2010-05-25 2011-12-08 Fujitsu Ltd コンテンツ決定プログラムおよびコンテンツ決定装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049656A (ja) * 2003-07-29 2005-02-24 Nec Plasma Display Corp 表示システムおよび位置推測システム
JP2005157134A (ja) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP2006235311A (ja) * 2005-02-25 2006-09-07 Seiko Epson Corp 情報出力システム、情報出力装置、情報出力方法、情報出力プログラム、および記録媒体
JP2008197266A (ja) * 2007-02-09 2008-08-28 Sharp Corp 再生装置、再生システム、再生方法及びコンピュータプログラム
CN101470883A (zh) * 2007-12-26 2009-07-01 联想(北京)有限公司 广告播放方法和广告播放设备
JP2009301439A (ja) * 2008-06-16 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 情報提示システム、情報提示方法、情報提示プログラムとその記憶媒体
JP2010102235A (ja) * 2008-10-27 2010-05-06 V-Sync Co Ltd 電子広告システム
CN201383313Y (zh) * 2009-02-19 2010-01-13 李赛 互动广告牌以及网络式互动广告系统

Also Published As

Publication number Publication date
US20120056803A1 (en) 2012-03-08
JP2012058476A (ja) 2012-03-22
JP5345113B2 (ja) 2013-11-20
US8976109B2 (en) 2015-03-10
CN102402927A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
CN102402927B (zh) 存储信息输出系统、输出控制装置以及输出控制方法
CN100462975C (zh) 信息演示方法和信息演示装置
EP2996016B1 (en) Information processing device and application execution method
CN104065928B (zh) 一种行为模式统计装置与方法
US20200106848A1 (en) Method for Pushing Multimedia Information, Non-Transitory Computer Readable Storage Medium, and Electronic Device
CN108024079A (zh) 录屏方法、装置、终端及存储介质
TW201545120A (zh) 自動產生編譯視訊
CN101631220B (zh) 再现设备
CN110505498B (zh) 视频的处理、播放方法、装置及计算机可读介质
CN106507207A (zh) 直播应用中互动的方法及装置
US20140012944A1 (en) Information distribution apparatus, signage system and method for distributing content data
CN102932623A (zh) 音频数据和图像数据的捕获、同步和回放
CN102065196A (zh) 信息处理装置、信息处理方法及程序
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及系统
CN108961679A (zh) 一种注意力提醒方法、装置及电子设备
US9549162B2 (en) Image processing apparatus, image processing method, and program
CN101835017A (zh) 视频重放设备和视频重放方法
CN103310663A (zh) 一种智能点读方法、设备及系统
CN104394315A (zh) 一种拍摄图像的方法
JP2014082746A (ja) 情報処理装置、情報処理方法
TW202121250A (zh) 展示對象的控制方法與裝置、電子設備及記錄媒體
CN103838809A (zh) 信息处理设备、信息处理方法以及程序
CN117033556A (zh) 基于人工智能的记忆保存和记忆提取方法及相关设备
CN109151599B (zh) 视频处理方法和装置
CN113949891B (zh) 一种视频处理方法、装置、服务端及客户端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant