具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本申请提供的交互式广告展示方法、系统、终端、云端服务器以及智慧城市交互系统,均以交互式广告展示终端100为基础,基于图像音频识别技术,以实时在线互动的方式根据用户的行为以及语言反应,挖掘用户的真实需求推送满足用户当前需求的广告。
请参考图2,所示为该交互式广告展示终端的模块图。
该交互式广告展示终端100包括处理器110、用户识别模块120、反应识别模块130、发送模块140以及获取模块150。该用户识别模块120包括人脸识别模块122。该反应识别模块130在找到观看用户图像时,采集观看用户对显示屏播放内容的反应,识别该反应的内容。各个功能模块在处理器110的控制下实现各自功能。
在优选的实施方式中,该反应识别模块130包括音频数据采集模块132、视频数据采集模块136以及匹配模块138,该反应内容从音频数据和视频数据中识别。
或者作为反应识别模块130的一种实施方式,可以仅包括图像采集模块以及图像识别模块。该反应识别模块130仅从视频数据中识别反应内容,具体来说,根据视频数据采集模块136获取的图像,通过图像识别模块识别出观看用户的人眼位置,确定用户是否正在关注投放的广告,或者基于读唇软件解读出用户所说的内容。
该用户识别模块120从广告展示终端的显示屏获取初始图像,并识别出该初始图像中的观看用户图像。
该人脸识别模块122用于从初始图像中找出观看广告并有交互意愿的用户。该人脸识别模块122从该初始图像中获取椭圆轮廓,以椭圆轮廓内的区域颜色亮点作为元素点拼接面部3D模型,将面部3D模型与基本模型对比,识别出该初始图像中所有的人脸,定义最清晰的并且面部对称比例适当的为正在观看的观看用户图像。
在反应识别模块130的一种实施方式中,该反应识别模块130在找到观看用户图像时,通过视频数据采集模块136采集设定时间段的视频数据,音频数据采集模块132采集设定时间段的音频数据。该反应识别模块130基于视频数据识别用户面部动作,该反应识别模块130基于音频数据识别声音内容。该发送模块140在该用户面部动作与声音内容匹配时,将识别的声音内容发送至云端服务器300。
该获取模块150接收该云端服务器300根据声音内容返回的与声音内容相关的广告数据该显示模块180根据该广告数据投放广告。
该匹配模块138根据识别的该用户面部动作与音频数据的频率对比,完成面部动作与声音的匹配。
在反应识别模块130的另一种实施方式中,该反应识别模块130仅从视频数据中识别反应内容。该反应识别模块130根据视频数据采集模块136获取的图像,通过图像识别模块识别出观看用户以及解读出该观看用户针对当前广告展示终端播放内容的反应内容。广告展示终端100将识别的反应内容发送至云端服务器300并接收该云端服务器300根据反应内容返回的与反应内容相关的广告数据,再通过显示模块基于该广告数据投放广告。
为了实现实时在线推送满足用户当前需求的广告,该交互式广告展示终端100配合云端服务器300,广告展示终端100基于图像音频识别技术分析挖掘用户的需求,云端服务器300根据声音内容在云端查找与声音内容相关性高的广告内容进行广告定点投放。
请参考图3,所示为用于交互式广告展示的云端服务器的模块图。该云端服务器包括:发送模块310、处理模块320以及接收模块330。
该接收模块330接收识别的反应内容,其中,该反应内容通过以下方法获得:获取初始图像,识别该初始图像中的观看用户图像;找到观看用户图像时,采集观看用户对显示屏播放内容的反应,识别该反应的内容。
或者在另一实施方式中,在用户面部动作与声音内容匹配时,接收发自该广告展示终端100的识别声音内容。其中,该用户面部动作与声音内容通过以下方法获得:获取初始图像,识别该初始图像中的观看用户图像;找到观看用户图像时,采集设定时间段的视频数据和音频数据,基于视频数据识别用该户面部动作,基于音频数据识别该声音内容。
该处理模块320根据声音内容确定的与声音内容相关的广告数据。该发送模块310发送该广告数据。
在一种实施例中,该广告展示终端100的人脸识别模块122和音频数据采集模块132为预装的人脸识别程序和声音识别程序,用于收集观看用户反馈的信息。该广告展示终端100通过专用加速网连接云端服务器300,将信息上传至云端服务器300的云计算大数据分析后台,后台程序经过分析处理,下发相应的信息给该广告展示终端100,实现广告定投,实时交互,人人交互等场景应用。
具体实现场景广告定投示例:该广告展示终端100通过人脸识别模块,识别该广告展示终端100显示屏前的用户,通过对面部和眼部角度、距离、热度等数据的分析,识别正在观看屏幕的用户。同时视频数据采集模块136采集用户的嘴部动作,音频数据采集模块132采集并分析声音的来源是否属于该用户,对属于该用户的声音内容,该反应识别模块130实时将声音内容上传后台数据库(云端服务器)进行分析处理,当该反应识别模块130采集到特定声音(比如太逊了,太棒了,有创意,买房子等词汇),云端服务器会激活定点广告投放程序,适当增加用户感兴趣的广告时间,比如收到用户在讨论“在哪儿买房子”,就可以投放房产广告;比如听到这个广告“涉嫌性别歧视”,云端服务器会切换用户反感的广告内容。
以下为第一种广告定投场景介绍,具体执行流程是:
该广告展示终端100通过人脸识别模块获取显示屏前的用户初始图像;
从初始图像中识别正在观看广告的观看用户图像;
获取观看用户的视频数据和音频数据,判断初始图像用户的嘴部是否在进行动作;
若用户面部动作与声音内容匹配,则该广告展示终端100通过声音识别模块采集该观看用户的音频数据,并从音频数据中识别出声音内容;
该广告展示终端100将声音内容发送给云端服务器300;
云端服务器300判断接收到的声音内容如果与本地保存的特定声音(例如买房子)数据匹配,则云端服务器300发送对应的广告调整指令(例如投放房产广告)给广告展示终端100;
智能广告屏根据广告调整指令投放广告。
以下为第二种实时交互广告定投场景介绍:广告展示终端100通过人脸识别模块,识别显示屏前的所有可识别用户,通过对面部和眼部角度距离的分析,识别出正在观看屏幕的观看用户。同时视频数据采集模块136采集用户的嘴部动作,音频数据采集模块132采集并分析声音的来源是否属于该用户,对属于该用户的声音内容,该反应识别模块130实时将声音内容上传后台数据库(云端服务器)进行分析处理,当该反应识别模块130采集到特定声音(比如我需景点,餐饮),云端服务器30会激活导航,导游,餐饮等系统,满足用户需求。
具体执行流程是:
该广告展示终端100通过人脸识别模块获取显示屏前的用户初始图像;
从该广告展示终端100中识别正在观看该显示屏的观看用户图像;
获取观看用户的视频数据和音频数据,判断初始图像用户的嘴部是否在进行动作;
若用户面部动作与声音内容匹配,则若用户面部动作与声音内容匹配,通过声音识别模块采集该观看用户的音频数据,并从音频数据中识别出声音内容;
该广告展示终端100将声音内容发送给云端服务器300;
云端服务器300判断接收到的声音数据与服务器保存的特定声音(例如我要吃饭)数据匹配,则云端服务器300发送对应的广告调整指令(例如激活餐饮系统)给该广告展示终端100;
该广告展示终端100根据广告调整指令投放广告(例如激活餐饮系统)。
请参考图4所示为通过广告展示终端获取视频以及音频数据以实现交互式广告展示方法的流程图,从广告展示终端的处理角度来阐述。
该交互式广告展示方法,包括以下步骤:
步骤410:获取显示屏前的初始图像,识别该初始图像中的观看用户图像;
步骤420:采集观看用户对显示屏播放内容的反应,识别该反应的内容,将识别的反应内容发送至云端服务器;其中一个具体实施方为:采集设定时间段的视频数据和音频数据,基于视频数据识别用户面部动作,基于音频数据识别声音内容;没有找到观看用户图像时,则继续获取显示屏前的初始图像;
步骤430:当该用户面部动作与声音内容匹配时,将识别的声音内容发送至云端服务器;当该用户面部动作与声音内容不匹配时,说明识别错误,返回继续获取显示屏前的初始图像再识别该初始图像中的观看用户图像;
步骤440:接收云端服务器根据声音内容返回的与声音内容相关的广告数据;
步骤450:根据广告数据投放广告。
该识别该初始图像中的观看用户图像的步骤还具体包括从初始图像中获取椭圆轮廓,以椭圆轮廓内的区域颜色亮点作为元素点拼接面部3D模型,将面部3D模型与基本模型对比,识别出初始图像中所有的用户人脸,定义最清晰的并且面部对称比例适当的为正在观看的观看用户图像。
从云端服务器的处理过程来阐述该交互式广告展示方法,本申请实施例提供的交互式广告展示方法,包括以下步骤:
接收识别的反应内容,其中,该反应内容由以下方法获得:获取初始图像,识别该初始图像中的观看用户图像;找到观看用户图像时,采集观看用户对显示屏播放内容的反应,识别该反应的内容;其中一具体实施方式为:用户面部动作与声音内容匹配时,接收识别的声音内容;其中,该用户面部动作与声音内容由以下方法获得:获取初始图像,识别该初始图像中的观看用户图像;找到观看用户图像时,采集设定时间段的视频数据和音频数据,基于视频数据识别用该户面部动作,基于音频数据识别该声音内容;
根据反应内容确定与反应内容相关的广告数据;对应具体实施方式,该反应内容是声音内容;
发送该广告数据。该云端服务器将广告数据返回发送至该该广告展示终端100。
请参考图1,所示为智慧城市交互系统的系统框架图。该智慧城市交互系统也基于交互式广告展示终端的图像音频识别技术以及云端服务器的管理和统计分析,提供一种管理更智慧和更贴近公众需求的城市交互方式。
该智慧城市交互系统包括至少一城市媒介400、云端服务器300以及与该云端服务器300组网的若干广告展示终端100。
其中,当选中的广告展示终端100在识别的观看用户的反应内容与该交互请求的要求有相关性时,也可以理解为该观看用户面部动作与声音内容匹配时,该城市媒介400的主持人410通过广告展示终端100和该云端服务器300建立与观看用户之间的视频通话。
该接入云端服务器300的城市媒介400可以是若干,数量取决于云端服务器300的承载能力。该主持人410通过城市媒介400发起交互请求。
该广告展示终端实现用户信息采集、提取和识别功能。通过图像采集、声音采集、图像识别、声音识别,并结合识别动作匹配音频频率,找到正在观看的用户。
在音频数据和视频数据都采集的实施例中,该广告展示终端的用户识别模块用于获取显示屏前的初始图像,识别该初始图像中的观看用户图像。该广告展示终端的反应识别模块用于找到观看用户图像时,采集设定时间段的视频数据和音频数据,基于视频数据识别用户面部动作,基于音频数据识别声音内容。该广告展示终端的视频通话模块用于当该用户面部动作与声音内容匹配时,通过该云端服务器建立观看用户与该城市媒介之间的视频通话。可以理解的是,可以仅通过视频数据来完成反应的识别,在找到观看用户图像时,通过视频数据采集观看用户对显示屏播放内容的反应,识别该反应的内容。
该云端服务器300根据城市媒介400的交互请求的要求以及该反应内容与该交互请求的要求的相关性,从组网的若干广告展示终端100选择其一作为交互终端,通过该交互终端和该云端服务器建立观看用户与该城市媒介之间的视频通话。其中,该该云端服务器300选择广告展示终端100之一作为交互终端,可以随机选择,或者定点选择,或者根据参与用户的地理坐标选取使用的广告展示终端100,实施方式可以多种。
在音频数据和视频数据都采集的实施例中,广告展示终端100亦即交互终端的匹配模块根据识别的用户面部动作与音频数据的频率对比,完成面部动作与声音的匹配。
该智慧城市交互系统可以实现人人交互,可以应用的场景很多。比如问卷调查、民意收集、打击犯罪、实时广播等等。
“人人交互”场景示例:广告展示终端100播放对名人实时访谈时,主持人410选择观众互动,主持人410选择云端服务器300随机选择,云端服务器300做随机选择处理,云端服务器300会在大量的广告展示终端100中随机选择一个广告展示终端100,并通过该广告展示终端100,随机选定屏幕前正在观看的观众,当通过广告展示终端100验证的某一观众被选中时,城市媒介400会显示该观众的影像,并通过广告展示终端100激活视频通话系统,实现观众和主持的名人实时交流,并在所有广告展示终端100中同时播放,实现公众环境的实时交互。
该人人交互场景的大致执行流程是:
云端服务器300向选中的广告展示终端100亦即交互终端发送视频通话请求;
交互终端接收到视频通话请求后,通过人脸识别模块和验证获取显示屏前的用户视频和音频数据,通过动作识别和声音识别再进行频率匹配确定正在观看用户的正确识别后,开启视频通话系统,建立观看用户与该主持人410的视频通话。
可选的,所有广告展示终端100全屏显示该用户图像信息,根据视频通话请求激活视频通话系统,实现该用户和名人实时交流。
本申请还涉及智慧城市交互方法,包括:
至少一接入云端服务器的城市媒介发起交互请求;
该云端服务器根据该交互请求的要求,从组网的若干广告展示终端选择其一作为交互终端;
该交互终端完成以下步骤:
获取显示屏前的初始图像,识别该初始图像中的观看用户图像;
找到观看用户图像时,采集观看用户对显示屏播放内容的反应,识别该反应的内容,将识别的反应内容发送至云端服务器;
该云端服务器根据该反应内容与该交互请求的要求的相关性,通过该交互终端和该云端服务器建立观看用户与该城市媒介之间的视频通话。
请参考图5所示,所示为通过广告展示终端获取视频以及音频数据以实现智慧城市交互方法的流程示意图。
本申请实施例还涉及智慧城市交互方法,该方法包括:
步骤510:至少一接入云端服务器的城市媒介发起交互请求;
步骤520:该云端服务器根据该交互请求的要求,从组网的若干广告展示终端选择其一作为交互终端;
该交互终端完成以下步骤:
步骤530:获取显示屏前的初始图像,识别该初始图像中的观看用户图像;
步骤540:找到观看用户图像时,采集设定时间段的视频数据和音频数据,基于视频数据识别用户面部动作,基于音频数据识别声音内容;没有找到观看用户图像时,则继续获取显示屏前的初始图像;
步骤550:当该用户面部动作与声音内容匹配时,通过该交互终端和该云端服务器建立观看用户与该城市媒介之间的视频通话;当该用户面部动作与声音内容不匹配时,说明识别错误,返回继续获取显示屏前的初始图像再识别该初始图像中的观看用户图像,如果多次识别和验证未成功,则返回云端服务器无用户识别信息,云端服务器可再次随机选择另一广告展示终端100进行识别和验证直至找到可视频连接的用户。
本申请实施例提供的交互式广告展示方法、终端及智慧城市交互系统,以实时在线互动的方式针对用户的真实需求推送适应性的广告,更智能更人文;本申请的实现人机交互的智能广告展示终端,基于图像音频识别技术,精准分析现场公众的需求,推送真正满足用户需要的广告;本申请的智慧城市交互系统基于终端的图像音频识别技术以及云端服务器的管理和统计分析,提供一种管理更智慧和更贴近公众需求的城市交互方式。
图6是本申请实施例提供的交互式广告展示方法的电子设备600的硬件结构示意图,如图6所示,该电子设备600包括:
一个或多个处理器610、存储器620、人机交互单元630、显示单元640以及通信组件650,图6中以一个处理器610为例。该人机交互单元630包括音频数据采集器以及视频数据采集器。该存储器620存储有可被该至少一个处理器610执行的指令,该指令被该至少一个处理器执行时调用音频数据采集器与视频数据采集器的数据,通过通信组件650与云端服务器建立连接,以使该至少一个处理器能够执行该交互式广告展示方法。
处理器610、存储器620、显示单元640以及人机交互单元630可以通过总线或者其他方式连接,图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的交互式广告展示方法对应的程序指令/模块(例如,附图2所示的用户识别模块120,反应识别模块130、发送模块140和获取模块150)。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的交互式广告展示方法。
存储器620可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据交互式广告展示电子设备的使用所创建的数据等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器620可选包括相对于处理器610远程设置的存储器,这些远程存储器可以通过网络连接至交互式广告展示电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器620中,在用户通过人机交互单元630完成私密内容库的设置交互以后,当被所述一个或者多个处理器610执行时,执行上述任意方法实施例中的交互式广告展示方法,例如,执行以上描述的图4中的方法步骤410至步骤450,实现图2中的用户识别模块120,反应识别模块130、发送模块140和获取模块150等的功能。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如i Phone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、M I D和UMPC设备等,例如i Pad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图6中的一个处理器610,可使得上述一个或多个处理器可执行上述任意方法实施例中的交互式广告展示方法,例如,执行以上描述的图4中的方法步骤410至步骤450,实现图2中的用户识别模块120,反应识别模块130、发送模块140和获取模块150等的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。