CN112565888B - 一种监播拍照方法、装置、计算机设备及存储介质 - Google Patents
一种监播拍照方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112565888B CN112565888B CN202011382359.1A CN202011382359A CN112565888B CN 112565888 B CN112565888 B CN 112565888B CN 202011382359 A CN202011382359 A CN 202011382359A CN 112565888 B CN112565888 B CN 112565888B
- Authority
- CN
- China
- Prior art keywords
- photographing
- advertisement
- monitoring
- real
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000009471 action Effects 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及广告监播技术领域,公开了一种监播拍照方法、装置及计算机设备。在所述方法中,可以先基于现场实时数据的识别结果,识别出当前是否发生监播拍照触发事件,如果发生则控制广告投放设备从广告播放正常模式切换进入广告监播拍照模式,使广告投放设备主动地针对待监播拍照的至少两条广告加快切换播放速度,进而既可以配合拍照人员的监播拍照行为,节约拍照人员的等待时间,又可以避免引入其它外部控制程序或设备,无需额外成本开销,并消除拍照人员与广告服务商间的互信风险,便于实际应用和推广。
Description
技术领域
本发明属于广告监播技术领域,具体地涉及一种监播拍照方法、装置及计算机设备。
背景技术
随着户外媒体的发展,除了传统诸如广告框等平面广告设施和声音广告设施外,智能广告设备(其可以投放诸如图片及视频等类型的广告)也在广泛地发挥广告投放效果,特别是在电梯空间内,由于电梯空间封闭且狭窄,广告触达率很高。广告主在广告机(包括智能广告设备等)上投放广告时,需要确定广告是否在规定的时间和位置播放,为此需要拍照人员对广告机播放的图片及视频进行拍照,形成监播报告。
由于智能广告设备基本采用滚动播放广告的工作方式,拍照人员拍完全部轮播广告一般有以下两种方式:
(1)从第一个广告一直看到最后一个广告,并逐一进行拍照,如此一旦中途出现有拍错或拍模糊等情况,就需要重新拍一次,非常浪费时间;
(2)使用专属应用程序APP、遥控器或者鼠标等来控制智能广告设备播放待监播拍照的广告,然后进行拍照,例如使用安装有专属应用程序APP的智能手机,在通过网络连接等方式连接智能广告设备后,开启APP自带的拍照功能,并在拍照的过程中控制智能广告设备的广告播放(如拍摄成功后通知播放下一条广告,等等),此方法基本可以确保拍照准确,但为了连接控制智能广告设备,需要设计专属应用程序APP或控制设备,导致投入的研发成本和维护成本都较高,并且还会因APP控制程序的介入而带来较大的互信风险,即拍照人员一般属于第三方机构,需要在其私有智能手机上安装广告服务商的专属应用程序APP,并控制智能广告设备,而拍照人员与广告服务商可能存在相互不信任的问题,例如拍照人员可以怀疑专属应用程序APP对实际播放内容进行了修改,使得监播拍照结果不能反映真实的广告播放情况;而广告服务商同样可以担心拍照人员在取得广告机控制权后进行监播拍照外的其他操作。
发明内容
为了解决现有广告监播拍照过程中所存在的拍照耗时以及因引入控制程序或设备而又会存在成本高和互信风险的问题,本发明目的在于提供一种监播拍照方法、装置、计算机设备及计算机可读存储介质,可以基于现场实时数据的识别结果,使广告投放设备主动地针对待监播拍照的至少两条广告加快切换播放速度,进而既可以配合拍照人员的监播拍照行为,节约拍照人员的等待时间,又可以避免引入其它外部控制程序或设备,无需额外成本开销,并消除拍照人员与广告服务商间的互信风险。
第一方面,本发明提供了一种配合监播拍照的监播拍照方法,包括:
获取现场实时数据,其中,所述现场实时数据是指针对广告投放设备所处位置现场采集的实时监控数据;
根据所述现场实时数据,识别出是否发生监播拍照触发事件;
若是,则从广告播放正常模式切换进入广告监播拍照模式,其中,在所述广告监播拍照模式下切换播放至少两条广告的速度,快于在所述广告播放正常模式下切换播放所述至少两条广告的速度,以便配合完成针对所述至少两条广告的监播拍照。
基于上述发明内容,可以先基于现场实时数据的识别结果,识别出当前是否发生监播拍照触发事件,如果发生则控制广告投放设备从广告播放正常模式切换进入广告监播拍照模式,使广告投放设备主动地针对待监播拍照的至少两条广告加快切换播放速度,进而既可以配合拍照人员的监播拍照行为,节约拍照人员的等待时间,又可以避免引入其它外部控制程序或设备,无需额外成本开销,并消除拍照人员与广告服务商间的互信风险,便于实际应用和推广。
在一个可能的设计中,根据所述现场实时数据,识别出是否发生监播拍照触发事件,包括:
根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,和/或根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在监播拍照设备、拍照指示手势和/或符合监播拍照要求的人体拍照姿势;
若是,则确定发生所述监播拍照触发事件。
基于上述可能设计,可以根据对现场实时数据进行拍照动作声音、监播拍照设备、拍照指示手势和/或人体拍照姿势等的识别结果,来判断是否发生了监播拍照触发事件,进而可确保识别事件的准确率,以便后续正确地从广告播放正常模式切换进入广告监播拍照模式。
在一个可能的设计中,根据所述现场实时数据,识别出是否发生监播拍照触发事件,包括:
根据从所述现场实时数据中抽取得到的第一视频帧实时图像,识别出是否存在监播拍照设备;
若识别出存在所述监播拍照设备,则根据从所述现场实时数据中抽取得到的第二视频帧实时图像,识别出是否存在符合监播拍照要求的人体拍照姿势,其中,所述第二视频帧实时图像的抽取时间间隔小于或等于所述第一视频帧实时图像的抽取时间间隔;
若识别出存在所述人体拍照姿势,则根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的第三视频帧实时图像,识别出是否存在拍照指示手势;
若识别出存在所述拍照动作声音或识别出存在所述拍照指示手势,则确定发生所述监播拍照触发事件。
基于上述可能设计,可以根据对现场实时数据依次进行监播拍照设备、人体拍照姿势以及拍照动作声音/拍照指示手势的识别结果,来逐级地判断是否发生监播拍照触发事件,进一步确保识别事件的准确率,以便后续正确地从广告播放正常模式切换进入广告监播拍照模式,同时还可减少在识别过程中所需即时计算机资源的开销,利于节能、降低设备成本和延长设备使用寿命。
在一个可能的设计中,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
S301.根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示进行下一条广告播放的第一拍照指示手势;
S302.若识别出存在所述拍照动作声音或识别出存在所述第一拍照指示手势,则判断所述至少两条广告中是否还存在本轮未播放的广告;
S303.若还存在本轮未播放的广告,则切换播放在所述至少两条广告中的且按照轮播顺序位于当前广告之后的下一条广告,然后返回执行步骤S301。
基于上述可能设计,可以在轮播广告过程中利用特别声音或特别手势作为切换播放下一条广告的触发条件,进而在单次拍照完成后无需继续播放当前广告,而是直接切换播放下一条广告,从而可进一步缩短拍照人员的等待时间,利于拍照人员快速完成所有广告的拍照任务。
在一个可能的设计中,根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,包括:
获取与所述音频帧实时信息同步的广告播放声音信息;
在所述音频帧实时信息中剔除与所述广告播放声音信息对应的信息,得到新音频帧实时信息;
将所述新音频帧实时信息导入声音识别模型,识别出是否存在所述拍照动作声音。
基于上述可能设计,可以通过在识别前对音频帧实时信息进行的且针对广告播放声音进行的排除预处理,避免广告播放声音对识别结果产生干扰,确保声音识别结果的准确性。
在一个可能的设计中,在判定所述至少两条广告中不存在本轮未播放的广告之后,所述方法还包括:
根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示结束广告播放的第二拍照指示手势;
若识别出存在所述第二拍照指示手势,则从所述广告监播拍照模式切换进入所述广告播放正常模式。
基于上述可能设计,可以在一轮播放结束时根据拍照指示手势的具体指示情况,使广告投放设备自动恢复为广告播放正常模式,进而使得拍照人员可通过不同手势反控广告播放进度,进一步便于实际推广和应用。
在一个可能的设计中,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行当前广告播放的第三拍照指示手势;
若识别出存在所述第三拍照指示手势,则重新切换播放当前正在播放的广告。
基于上述可能设计,可以在轮播广告过程中随时根据拍照指示手势的具体指示情况,使广告投放设备重新切换播放当前正在播放的广告,以便弥补当前拍照结果不满足预设要求的情况,进而使得拍照人员可通过不同手势反控广告播放进度,进一步便于实际推广和应用。
在一种可能的设计中,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行一轮广告播放的第四拍照指示手势;
若识别出存在所述第四拍照指示手势,则开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
基于上述可能设计,可以在轮播广告过程中随时根据拍照指示手势的具体指示情况,使广告投放设备重新开启新一轮的且继续配合监播拍照的广告轮播,以便弥补上一次轮播中存在拍照结果不满足预设要求的情况,进而使得拍照人员可通过不同手势反控广告播放进度,进一步便于实际推广和应用。
在一个可能的设计中,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
启动计时器;
在所述计时器的启动时长达到或超过预设时长阈值时,从所述广告监播拍照模式切换进入所述广告播放正常模式,或者开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
基于上述可能设计,可以在轮播广告过程中基于计时结果,使广告投放设备自动恢复为广告播放正常模式,或者使广告投放设备重新开启新一轮的且继续配合监播拍照的广告轮播,以便弥补上一次轮播中存在拍照结果不满足预设要求的情况。
第二方面,本发明提供了一种监播拍照装置,包括有依次通信连接的数据获取模块、事件识别模块和模式切换模块;
所述数据获取模块,用于获取现场实时数据,其中,所述现场实时数据是指针对广告投放设备所处位置现场采集的实时监控数据;
所述事件识别模块,用于根据所述现场实时数据,识别出是否发生监播拍照触发事件;
所述模式切换模块,用于在识别出发生所述监播拍照触发事件时,从广告播放正常模式切换进入广告监播拍照模式,其中,在所述广告监播拍照模式下切换播放至少两条广告的速度,快于在所述广告播放正常模式下切换播放所述至少两条广告的速度,以便配合完成针对所述至少两条广告的监播拍照。
在一种可能的设计中,所述事件识别模块包括有通信相连的识别子模块和事件确定子模块;
所述识别子模块,用于根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,和/或根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在监播拍照设备、拍照指示手势和/或符合监播拍照要求的人体拍照姿势;
所述事件确定子模块,用于在识别出存在所述拍照动作声音、所述监播拍照设备、所述拍照指示手势和/或所述人体拍照姿势时,确定发生所述监播拍照触发事件。
在一种可能的设计中,所述事件识别模块包括有依次通信连接的设备识别子模块、姿态识别子模块、声音/手势识别子模块和事件确定子模块;
所述设备识别子模块,用于根据从所述现场实时数据中抽取得到的第一视频帧实时图像,识别出是否存在监播拍照设备;
所述姿态识别子模块,用于在识别出存在所述监播拍照设备时,根据从所述现场实时数据中抽取得到的第二视频帧实时图像,识别出是否存在符合监播拍照要求的人体拍照姿势,其中,所述第二视频帧实时图像的抽取时间间隔小于或等于所述第一视频帧实时图像的抽取时间间隔;
所述声音/手势识别子模块,用于在识别出存在所述人体拍照姿势时,根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的第三视频帧实时图像,识别出是否存在拍照指示手势;
所述事件确定子模块,用于在识别出存在所述拍照动作声音或识别出存在所述拍照指示手势时,确定发生所述监播拍照触发事件。
在一种可能的设计中,还包括有声音/手势识别模块、轮播结束判断模块和切换播放执行模块;
所述声音/手势识别模块,通信连接所述切换播放执行模块,用于根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示进行下一条广告播放的第一拍照指示手势;
所述轮播结束判断模块,通信连接所述声音/手势识别模块,用于在识别出存在所述拍照动作声音或识别出存在所述第一拍照指示手势时,判断所述至少两条广告中是否还存在本轮未播放的广告;
所述切换播放执行模块,通信连接所述轮播结束判断模块,用于在判定还存在本轮未播放的广告时,切换播放在所述至少两条广告中的且按照轮播顺序位于当前广告之后的下一条广告,然后触发启动所述声音/手势识别模块。
在一种可能的设计中,所述识别子模块、所述声音/手势识别子模块或所述声音/手势识别模块还包括有依次通信连接的声音信息获取模块、实时信息剔除模块和动作声音识别模块;
所述声音信息获取模块,用于获取与所述音频帧实时信息同步的广告播放声音信息;
所述实时信息剔除模块,用于在所述音频帧实时信息中剔除与所述广告播放声音信息对应的信息,得到新音频帧实时信息;
所述动作声音识别模块,用于将所述新音频帧实时信息导入声音识别模型,识别出是否存在所述拍照动作声音。
在一种可能的设计中,还包括有分别通信连接所述轮播结束判断模块和所述模式切换模块的手势识别模块;
所述手势识别模块,用于在判定所述至少两条广告中不存在本轮未播放的广告之后,根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示结束广告播放的第二拍照指示手势;
所述模式切换模块,还用于在识别出存在所述第二拍照指示手势时,从所述广告监播拍照模式切换进入所述广告播放正常模式。
在一种可能的设计中,还包括有分别通信连接所述轮播结束判断模块和所述切换播放执行模块的手势识别模块;
所述手势识别模块,用于在从广告播放正常模式切换进入广告监播拍照模式之后,根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行当前广告播放的第三拍照指示手势;
所述切换播放执行模块,还用于在识别出存在所述第三拍照指示手势时,重新切换播放当前正在播放的广告。
在一种可能的设计中,还包括有分别通信连接所述轮播结束判断模块和所述切换播放执行模块的手势识别模块;
所述手势识别模块,用于在从广告播放正常模式切换进入广告监播拍照模式之后,根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行一轮广告播放的第四拍照指示手势;
所述切换播放执行模块,还用于在识别出存在所述第四拍照指示手势时,开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
在一种可能的设计中,还包括有通信连接所述模式切换模块或所述切换播放执行模块的计时启动模块;
所述计时启动模块,用于在从广告播放正常模式切换进入广告监播拍照模式之后,启动计时器;
所述模式切换模块,还用于在所述计时器的启动时长达到或超过预设时长阈值时,从所述广告监播拍照模式切换进入所述广告播放正常模式;
所述切换播放执行模块,还用于在所述计时器的启动时长达到或超过预设时长阈值时,开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
第三方面,本发明提供了一种计算机设备,包括通信相连的存储器和处理器,其中,所述存储器用于存储计算机程序,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意一种可能设计所述的监播拍照方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如上第一方面或第一方面中任意一种可能设计的所述监播拍照方法。
第五方面,本发明提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如上第一方面或第一方面中任意一种可能设计的所述监播拍照方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的图像采集设备、拾音设备、广告投放设备及监播拍照设备的位置关系示例图。
图2是本发明提供的监播拍照方法的流程示意图。
图3是本发明提供的监播拍照装置的结构示意图。
图4是本发明提供的计算机设备的结构示意图。
上述附图中:101-图像采集设备;102-拾音设备;2-广告投放设备;3-监播拍照设备。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是,对于这些实施例方式的说明虽然是用于帮助理解本发明,但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而,可用很多备选的形式来体现本发明,并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解,尽管本文可能使用术语第一、第二等等来描述各种单元,但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B三种情况;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A,单独存在A和B两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
应当理解,在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时,它可以与另一个单元直相连接或耦合,或中间单元可以存在。相対地,在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时,表示不存在中间单元。另外,应当以类似方式来解释用于描述单元之间的关系的其他单词(例如,“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解,本文使用的术语仅用于描述特定实施例,并不意在限制本发明的示例实施例。若本文所使用的,单数形式“一”、“一个”以及“该”意在包括复数形式,除非上下文明确指示相反意思。还应当理解,若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解,还应当注意到在一些备选可能设计中,所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解,在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而, 本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统,以避免用不必要的细节来使得示例不清楚。在其他实例中,可以不以非必要的细节来示出众所周知的过程、结构和技术,以避免使得示例实施例不清楚。
如图1~2所示,本实施例第一方面提供的所述监播拍照方法,可以但不限于适用于在诸如商店、机场、展览厅和电梯等场所布置的广告投放设备(例如智能广告设备,可以按照既定顺序或规则循环播放多个视频广告)上执行,以便基于现场实时数据的识别结果,主动配合拍照人员的监播拍照行为,节约拍照人员的等待时间。所述监播拍照方法,可以但不限于包括有如下步骤S101~S103。
S101.获取现场实时数据,其中,所述现场实时数据是指针对广告投放设备所处位置现场采集的实时监控数据。
在所述步骤S101中,所述现场实时数据可以但不限于由布置在所述广告投放设备所处位置现场的图像采集设备(其可以但不限于为双目镜头相机或单目镜头相机)和/或拾音设备等设备采集得到,即只要拍照人员及其携带的监播拍照设备(可以但不限于为安装有常规拍照软件的智能手机或平板电脑等)出现在所述图像采集设备的视野范围内,和/或只要所述拍照人员及所述监播拍照设备发出的声音出现在所述拾音设备的拾音范围内,都可以被采集到所述现场实时数据中。如图1所示,在方形电梯空间中,布置有图像采集设备101、拾音设备102和广告投放设备2,可通过该图像采集设备101来采集得到实时视频图像(例如每隔50毫秒采集一张视频帧实时图像),然后将该视频帧实时图像传送至所述广告投放设备2,以及可通过该拾音设备102来采集得到实时音频数据(例如也每隔50毫秒采集一份音频帧实时信息),然后将该音频帧实时信息传送至所述广告投放设备2。所述广告投放设备2用于现场播放广告的画面或画面及声音,其与所述图像采集设备101和所述拾音设备102可以集成于一体进行布置,也可以如图1所示分散地进行布置。
S102.根据所述现场实时数据,识别出是否发生监播拍照触发事件。
在所述步骤S102中,所述监播拍照触发事件的发生与否可以但不限于基于常规的图像和/或语音等的识别结果来进行判断,例如在将所述现场实时数据中的视频帧实时图像导入基于现有深度学习算法完成样本训练的图像识别模型后,发现拍照人员(其可以通过身穿预设工作服或头戴预设工作帽来进行图像识别)作出了符合预设触发要求的监播拍照触发手势 (例如发现作出了呈“X”形状的双臂交叉手势,等等),和/或在将所述现场实时数据中的音频帧实时信息导入基于现有深度学习算法完成样本训练的语音识别模型后,发现拍照人员发出了符合预设触发要求的监播拍照触发语音(例如触发密码或触发口令,等等),都可以确定发生了所述监播拍照触发事件。此外,如果未识别出发生所述监播拍照触发事件,则默认当前无人进行监播拍照,因此也就不需要配合监播拍照进行广告播放,将不会执行后续步骤S103,以便确保所述广告投放设备继续在广告播放正常模式下轮播广告。
S103.若是,则从广告播放正常模式切换进入广告监播拍照模式,其中,在所述广告监播拍照模式下切换播放至少两条广告的速度,快于在所述广告播放正常模式下切换播放所述至少两条广告的速度,以便配合完成针对所述至少两条广告的监播拍照。
在所述步骤S103中,如果所述至少两条广告包含有在发生所述监播拍照触发事件时播放的当前广告,将直接从所述广告播放正常模式切换进入所述广告监播拍照模式(即该当前广告作为在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告),而如果不包含有该当前广告,将在从所述广告播放正常模式切换进入所述广告监播拍照模式后,切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告(例如在新上刊的至少两条广告中的首条轮播广告)。出于加快切换播放速度的目的,在所述广告监播拍照模式下切换播放所述至少两条广告的具体方式可以但不限于为:(1)对所述至少两条广告进行倍速播放,例如以1.5倍速或2倍速进行快速播放;(2)对所述至少两条广告进行抽帧播放,例如在H.264压缩标准中仅抽取I帧(即帧内编码帧,是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码,可以简单理解为一张静态画面,在视频序列中的第一个帧始终都是I帧,因为它是关键帧)进行播放,并在播放时可以适当减慢帧切换速度,以便拍照人员能够获取到清晰的拍照结果。
由此通过上述步骤S101~S103所详细描述的监播拍照方案,可以先基于现场实时数据的识别结果,识别出当前是否发生监播拍照触发事件,如果发生则控制广告投放设备从广告播放正常模式切换进入广告监播拍照模式,使广告投放设备主动地针对待监播拍照的至少两条广告加快切换播放速度,进而既可以配合拍照人员的监播拍照行为,节约拍照人员的等待时间,又可以避免引入其它外部控制程序或设备,无需额外成本开销,并消除拍照人员与广告服务商间的互信风险,便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上,还具体提出了另一种识别出是否发生监播拍照触发事件的可能设计一,即根据所述现场实时数据,识别出是否发生监播拍照触发事件,包括但不限于有如下步骤S201~S202。
S201.根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,和/或根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在监播拍照设备、拍照指示手势和/或符合监播拍照要求的人体拍照姿势。
在所述步骤S201中,所述拍照动作声音可基于常规识别算法识别出来,例如将所述音频帧实时信息导入声音识别模型,从而识别出是否存在拍照动作声音,其中,所述声音识别模型可以但不限于为基于现有深度学习算法对大量快门拍照声信息样本完成训练的第一神经网络识别模型,通过该第一神经网络识别模型,可以识别出在所述音频帧实时信息记录的环境声音中是否有拍照动作声音。所述监播拍照设备也可基于常规识别算法识别出来,例如将所述视频帧实时图像导入设备识别模型,从而识别出是否存在监播拍照设备,其中,所述设备识别模型可以但不限于为基于现有深度学习算法对大量拍照设备图像样本(例如海量已标注的手机外观图片)完成训练的第二神经网络识别模型,通过该第二神经网络识别模型,可以识别出所述视频帧实时图像中是否有现场人员拿出监播拍照设备(例如拍照手机)。所述人体拍照姿势同样可基于常规识别算法识别出来,例如将所述视频帧实时图像导入人体姿势识别模型,从而识别出是否存在符合监播拍照要求的人体拍照姿势,其中,所述人体姿势识别模型可以但不限于为基于现有深度学习算法对大量符合监播拍照要求的人体拍照姿势图像样本完成训练的第三神经网络识别模型,所述人体拍照姿势图像样本的具体采样过程可为:对拍照人员常用的特定拍照习惯进行录音录像,然后抽取出若干视频帧,再然后找到拍摄瞬间(即快门声响起时刻)的视频帧,再然后利用标签制作工具将视频帧中的体态特征依类别(如头、手、眼睛等)进行标记,最后标注完成的视频帧作为所述人体拍照姿势图像样本进行保存,得到一个训练数据集。通过该第三神经网络识别模型,可以识别出所述视频帧实时图像中是否有现场人员正在拿着所述监播拍照设备准备拍照。所述拍照指示手势同样可基于常规识别算法识别出来,例如将所述视频帧实时图像导入手势识别模型,从而识别出是否存在拍照指示手势,其中,所述手势识别模型可以但不限于为基于现有深度学习算法对大量拍照指示手势图像样本完成训练的第四神经网络识别模型,通过该第四神经网络识别模型,可以识别出在所述视频帧实时图像中是否有拍照人员作出诸如用于指示进行下一条广告播放等的拍照指示手势。此外,所述拍照指示手势可以但不限于为用于指示进行下一条广告播放的手势、用于指示重新进行当前广告播放的手势或用于指示重新进行一轮广告播放的手势等。
S202.若是,则确定发生所述监播拍照触发事件。
在所述步骤S202中,若识别出当前存在所述拍照动作声音、所述监播拍照设备、所述拍照指示手势和/或所述人体拍照姿势,均可视为当前有现场人员正在拿着监播拍照设备对广告进行监播拍照,即发生了所述监播拍照触发事件,确保识别事件的准确率,以便后续正确地从广告播放正常模式切换进入广告监播拍照模式。
由此基于上述步骤S201~S202所描述的可能设计一,可以根据对现场实时数据进行拍照动作声音、监播拍照设备、拍照指示手势和/或人体拍照姿势等的识别结果,来判断是否发生了监播拍照触发事件,进而可确保识别事件的准确率,以便后续正确地从广告播放正常模式切换进入广告监播拍照模式。
本实施例在前述可能设计一的技术方案基础上,还具体提出了一种更准确识别出是否发生监播拍照触发事件的可能设计二,即根据所述现场实时数据,识别出是否发生监播拍照触发事件,包括但不限于有如下步骤S2011~S2014。
S2011.根据从所述现场实时数据中抽取得到的第一视频帧实时图像,识别出是否存在监播拍照设备。
在所述步骤S2011中,所述监播拍照设备的具体识别方式可参见前述步骤S201的描述。举例的,可在所述现场实时数据中每隔1秒抽取一张视频帧实时图像作为所述第一视频帧实时图像。
S2012.若识别出存在所述监播拍照设备,则根据从所述现场实时数据中抽取得到的第二视频帧实时图像,识别出是否存在符合监播拍照要求的人体拍照姿势,其中,所述第二视频帧实时图像的抽取时间间隔小于或等于所述第一视频帧实时图像的抽取时间间隔。
在所述步骤S2012中,若识别出存在所述监播拍照设备,则表明有现场人员拿出监播拍照设备在准备拍照,此时可使广告投放设备进入预处理状态:根据从所述现场实时数据中抽取得到的第二视频帧实时图像,识别出是否存在符合监播拍照要求的人体拍照姿势。所述人体拍照姿势的具体识别方式可参见前述步骤S201的描述。举例的,可在所述现场实时数据中每隔0.2秒抽取一张视频帧实时图像作为所述第二视频帧实时图像。此外,如果未识别出存在所述监播拍照设备,将返回执行步骤S2011,继续进行设备识别判断。
S2013.若识别出存在所述人体拍照姿势,则根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的第三视频帧实时图像,识别出是否存在拍照指示手势。
在所述步骤S2013中,若识别出存在所述人体拍照姿势,则表明有现场人员正在拿着所述监播拍照设备准备拍照,此时可使广告投放设备进入拍照动作捕获状态:根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的第三视频帧实时图像,识别出是否存在拍照指示手势。所述拍照动作声音或所述拍照指示手势的具体识别方式可参见前述步骤S201的描述。举例的,可在所述现场实时数据中每隔0.05秒(即所述拾音设备的采集时间间隔)抽取一份音频帧实时信息作为所述音频帧实时信息,或者可在所述现场实时数据中每隔0.05秒(即所述图像采集设备的采集时间间隔)抽取一张视频帧实时图像作为所述第三视频帧实时图像。此外,如果未识别出存在所述人体拍照姿势,将返回执行步骤S2012,继续进行姿势识别判断;而如果在进入预处理状态后出现超时情况下(例如15秒内)依然未识别出存在所述人体拍照姿势,将返回执行步骤S2011,继续进行设备识别判断。
S2014.若识别出存在所述拍照动作声音或识别出存在所述拍照指示手势,则确定发生所述监播拍照触发事件。
在所述步骤S2014中,若识别出存在所述拍照动作声音或识别出存在所述拍照指示手势,则可通过特别声音或特别手势作为触发条件,来确定是否发生所述监播拍照触发事件。此外,如果未识别出存在所述拍照动作声音或所述拍照指示手势,将返回执行步骤S2013,继续进行声音/手势识别判断;而如果在进入拍照动作捕获状态后出现超时情况下(例如5秒内) 依然未识别出存在所述拍照动作声音或所述拍照指示手势,将返回执行步骤S2011,继续进行设备识别判断。
由此基于上述步骤S2011~S2014所描述的可能设计二,可以根据对现场实时数据依次进行监播拍照设备、人体拍照姿势以及拍照动作声音/拍照指示手势的识别结果,来逐级地判断是否发生监播拍照触发事件,进一步确保识别事件的准确率,以便后续正确地从广告播放正常模式切换进入广告监播拍照模式,同时还可减少在识别过程中所需即时计算机资源的开销,利于节能、降低设备成本和延长设备使用寿命。
本实施例在前述第一方面及可能设计一至二中任意一种的技术方案基础上,还具体提出了另一种如何配合监播拍照的可能设计三,即在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括但不限于有如下步骤S301~S303。
S301.根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示进行下一条广告播放的第一拍照指示手势。
在所述步骤S301中,具体识别出所述拍照动作声音或所述第一拍照指示手势(例如举起右手指示进行下一条广告播放)的方式可参见前述步骤S201,于此不再赘述。
S302.若识别出存在所述拍照动作声音或识别出存在所述第一拍照指示手势,则判断所述至少两条广告中是否还存在本轮未播放的广告。
S303.若还存在本轮未播放的广告,则切换播放在所述至少两条广告中的且按照轮播顺序位于当前广告之后的下一条广告,然后返回执行步骤S301。
由此基于上述步骤S301~S303所描述的可能设计三,可以在轮播广告过程中利用特别声音或特别手势作为切换播放下一条广告的触发条件,进而在单次拍照完成后无需继续播放当前广告,而是直接切换播放下一条广告,从而可进一步缩短拍照人员的等待时间,利于拍照人员快速完成所有广告的拍照任务。此外,在判定所述至少两条广告中不存在本轮未播放的广告之后,所述方法还包括:从所述广告监播拍照模式切换进入所述广告播放正常模式,由此可使广告投放设备自动恢复为广告播放正常模式,以等待进行下一次的且用于配合监播拍照的广告播放。
本实施例在前述可能设计一至三中任意一种的技术方案基础上,还具体提出了一种对拍照动作声音进行识别的可能设计四,即根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,包括但不限于有如下步骤S401~S403。
S401.获取与所述音频帧实时信息同步的广告播放声音信息。
在所述步骤S401中,优选的,可先获取所述音频帧实时信息的采集时间戳,然后在本地播放的音频数据中读取呈现时间戳(Presentation Time Stamp,PTS)与所述采集时间戳对应的播放声音信息,来作为与所述音频帧实时信息同步的广告播放声音信息。
S402.在所述音频帧实时信息中剔除与所述广告播放声音信息对应的信息,得到新音频帧实时信息。
在所述步骤S402中,具体剔除方式可以但不限于为使用所述广告播放声音信息的第一频谱(可基于傅立叶变换得到),在所述音频帧实时信息的频谱中对与所述第一频谱对应的频谱部分进行常规的抵消/过滤处理,从而排除在后续声音识别过程中作为噪声的广告播放声音。
S403.将所述新音频帧实时信息导入声音识别模型,识别出是否存在所述拍照动作声音。
在所述步骤S403中,具体识别出所述拍照动作声音的方式可参见前述步骤S201,于此不再赘述。
由此基于上述步骤S401~S403所描述的可能设计四,可以通过在识别前对音频帧实时信息进行的且针对广告播放声音进行的排除预处理,避免广告播放声音对识别结果产生干扰,确保声音识别结果的准确性。此外,在从所述广告播放正常模式切换进入所述广告监播拍照模式之后,可控制广告播放设备主动降低广告播放声音,甚至进行静音播放,以便进一步确保声音识别结果的准确性。
本实施例在前述第一方面及可能设计一至四中任意一种的技术方案基础上,还具体提出了一种基于手势识别结果进行额外播放控制的可能设计五,即在判定所述至少两条广告中不存在本轮未播放的广告之后,所述方法还包括但不限于有如下步骤S501~S502。
S501.根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示结束广告播放的第二拍照指示手势。
在所述步骤S501中,具体识别出所述第二拍照指示手势(例如作出呈“V”形状的双臂组合手势指示结束广告播放)的方式可参见前述步骤S201,于此不再赘述。
S502.若识别出存在所述第二拍照指示手势,则从所述广告监播拍照模式切换进入所述广告播放正常模式。
由此基于上述步骤S501~S502所描述的可能设计五,可以在一轮播放结束时根据拍照指示手势的具体指示情况,使广告投放设备自动恢复为广告播放正常模式,进而使得拍照人员可通过不同手势反控广告播放进度,进一步便于实际推广和应用。此外,还可以在进入广告监播拍照模式之后的任意时刻,根据从所述现场实时数据中抽取得到的视频帧实时图像,在识别出存在所述第二拍照指示手势时,从所述广告监播拍照模式切换进入所述广告播放正常模式,以便拍照人员随时反控恢复为广告播放正常模式。
本实施例在前述第一方面及可能设计一至五中任意一种的技术方案基础上,还具体提出了一种基于手势识别结果进行额外播放控制的可能设计六,即在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括但不限于有如下步骤S601~S602。
S601.根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行当前广告播放的第三拍照指示手势。
在所述步骤S601中,具体识别出所述第三拍照指示手势(例如举起左手指示重新进行当前广告播放)的方式可参见前述步骤S201,于此不再赘述。
S602.若识别出存在所述第三拍照指示手势,则重新切换播放当前正在播放的广告。
由此基于上述步骤S601~S602所描述的可能设计六,可以在轮播广告过程中随时根据拍照指示手势的具体指示情况,使广告投放设备重新切换播放当前正在播放的广告,以便弥补当前拍照结果不满足预设要求的情况,进而使得拍照人员可通过不同手势反控广告播放进度,进一步便于实际推广和应用。此外,在重新切换播放当前正在播放的广告之后,可重新返回执行步骤S301,以便继续轮播广告。
本实施例在前述第一方面及可能设计一至六中任意一种的技术方案基础上,还具体提出了一种基于手势识别结果进行额外播放控制的可能设计七,即在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括但不限于有如下步骤S701~S702。
S701.根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行一轮广告播放的第四拍照指示手势。
在所述步骤S701中,具体识别出所述第四拍照指示手势(例如作出呈“L”形状的双臂组合手势指示重新进行一轮广告播放)的方式可参见前述步骤S201,于此不再赘述。
S702.若识别出存在所述第四拍照指示手势,则开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
由此基于上述步骤S701~S702所描述的可能设计七,可以在轮播广告过程中随时根据拍照指示手势的具体指示情况,使广告投放设备重新开启新一轮的且继续配合监播拍照的广告轮播,以便弥补上一次轮播中存在拍照结果不满足预设要求的情况,进而使得拍照人员可通过不同手势反控广告播放进度,进一步便于实际推广和应用。此外,在重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告之后,可重新返回执行步骤S301,以便继续轮播广告。
本实施例在前述第一方面及可能设计一至七中任意一种的技术方案基础上,还具体提出了一种基于计时结果进行额外播放控制的可能设计八,即在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括但不限于有如下步骤S801~S802。
S801.启动计时器。
在所述步骤S801中,所述计时器的启动时刻可以但不限于为在进入广告监播拍照模式后的预设时刻(例如第0秒)、在一轮广告播放结束时或者在进入步骤S301后超时(例如5 秒)未识别出存在所述拍照动作声音或识别出存在所述第一拍照指示手势时,等等。
S802.在所述计时器的启动时长达到或超过预设时长阈值时,从所述广告监播拍照模式切换进入所述广告播放正常模式,或者开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
在所述步骤S802中,所述预设时长阈值可以举例为1分钟、10秒或1秒等。
由此基于上述步骤S801~S802所描述的可能设计八,可以在轮播广告过程中基于计时结果,使广告投放设备自动恢复为广告播放正常模式,或者使广告投放设备重新开启新一轮的且继续配合监播拍照的广告轮播,以便弥补上一次轮播中存在拍照结果不满足预设要求的情况。此外,在重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告之后,可重新返回执行步骤S301,以便继续轮播广告。
如图3所示,本实施例第二方面提供了一种实现第一方面或第一方面中任意一种可能设计的所述监播拍照方法的虚拟装置,包括有依次通信连接的数据获取模块、事件识别模块和模式切换模块;
所述数据获取模块,用于获取现场实时数据,其中,所述现场实时数据是指针对广告投放设备所处位置现场采集的实时监控数据;
所述事件识别模块,用于根据所述现场实时数据,识别出是否发生监播拍照触发事件;
所述模式切换模块,用于在识别出发生所述监播拍照触发事件时,从广告播放正常模式切换进入广告监播拍照模式,其中,在所述广告监播拍照模式下切换播放至少两条广告的速度,快于在所述广告播放正常模式下切换播放所述至少两条广告的速度,以便配合完成针对所述至少两条广告的监播拍照。
在一种可能的设计中,所述事件识别模块包括有通信相连的识别子模块和事件确定子模块;
所述识别子模块,用于根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,和/或根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在监播拍照设备、拍照指示手势和/或符合监播拍照要求的人体拍照姿势;
所述事件确定子模块,用于在识别出存在所述拍照动作声音、所述监播拍照设备、所述拍照指示手势和/或所述人体拍照姿势时,确定发生所述监播拍照触发事件。
在一种可能的设计中,所述事件识别模块包括有依次通信连接的设备识别子模块、姿态识别子模块、声音/手势识别子模块和事件确定子模块;
所述设备识别子模块,用于根据从所述现场实时数据中抽取得到的第一视频帧实时图像,识别出是否存在监播拍照设备;
所述姿态识别子模块,用于在识别出存在所述监播拍照设备时,根据从所述现场实时数据中抽取得到的第二视频帧实时图像,识别出是否存在符合监播拍照要求的人体拍照姿势,其中,所述第二视频帧实时图像的抽取时间间隔小于或等于所述第一视频帧实时图像的抽取时间间隔;
所述声音/手势识别子模块,用于在识别出存在所述人体拍照姿势时,根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的第三视频帧实时图像,识别出是否存在拍照指示手势;
所述事件确定子模块,用于在识别出存在所述拍照动作声音或识别出存在所述拍照指示手势时,确定发生所述监播拍照触发事件。
在一种可能的设计中,还包括有声音/手势识别模块、轮播结束判断模块和切换播放执行模块;
所述声音/手势识别模块,通信连接所述切换播放执行模块,用于根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示进行下一条广告播放的第一拍照指示手势;
所述轮播结束判断模块,通信连接所述声音/手势识别模块,用于在识别出存在所述拍照动作声音或识别出存在所述第一拍照指示手势时,判断所述至少两条广告中是否还存在本轮未播放的广告;
所述切换播放执行模块,通信连接所述轮播结束判断模块,用于在判定还存在本轮未播放的广告时,切换播放在所述至少两条广告中的且按照轮播顺序位于当前广告之后的下一条广告,然后触发启动所述声音/手势识别模块。
在一种可能的设计中,所述识别子模块、所述声音/手势识别子模块或所述声音/手势识别模块还包括有依次通信连接的声音信息获取模块、实时信息剔除模块和动作声音识别模块;
所述声音信息获取模块,用于获取与所述音频帧实时信息同步的广告播放声音信息;
所述实时信息剔除模块,用于在所述音频帧实时信息中剔除与所述广告播放声音信息对应的信息,得到新音频帧实时信息;
所述动作声音识别模块,用于将所述新音频帧实时信息导入声音识别模型,识别出是否存在所述拍照动作声音。
在一种可能的设计中,还包括有分别通信连接所述轮播结束判断模块和所述模式切换模块的手势识别模块;
所述手势识别模块,用于在判定所述至少两条广告中不存在本轮未播放的广告之后,根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示结束广告播放的第二拍照指示手势;
所述模式切换模块,还用于在识别出存在所述第二拍照指示手势时,从所述广告监播拍照模式切换进入所述广告播放正常模式。
在一种可能的设计中,还包括有分别通信连接所述轮播结束判断模块和所述切换播放执行模块的手势识别模块;
所述手势识别模块,用于在从广告播放正常模式切换进入广告监播拍照模式之后,根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行当前广告播放的第三拍照指示手势;
所述切换播放执行模块,还用于在识别出存在所述第三拍照指示手势时,重新切换播放当前正在播放的广告。
在一种可能的设计中,还包括有分别通信连接所述轮播结束判断模块和所述切换播放执行模块的手势识别模块;
所述手势识别模块,用于在从广告播放正常模式切换进入广告监播拍照模式之后,根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行一轮广告播放的第四拍照指示手势;
所述切换播放执行模块,还用于在识别出存在所述第四拍照指示手势时,开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
在一种可能的设计中,还包括有通信连接所述模式切换模块或所述切换播放执行模块的计时启动模块;
所述计时启动模块,用于在从广告播放正常模式切换进入广告监播拍照模式之后,启动计时器;
所述模式切换模块,还用于在所述计时器的启动时长达到或超过预设时长阈值时,从所述广告监播拍照模式切换进入所述广告播放正常模式;
所述切换播放执行模块,还用于在所述计时器的启动时长达到或超过预设时长阈值时,开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果,可以参见第一方面或第一方面中任意一种可能设计所述的监播拍照方法,于此不再赘述。
如图4所示,本实施例第三方面提供了一种执行第一方面或第一方面中任意一种可能设计的所述监播拍照方法的计算机设备,包括通信相连的存储器和处理器,其中,所述存储器用于存储计算机程序,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意一种可能设计所述的监播拍照方法。具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述处理器可以不限于采用型号为STM32F105系列的微处理器。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果,可以参见第一方面或第一方面中任意一种可能设计所述的监播拍照方法,于此不再赘述。
本实施例第四方面提供了一种存储包含第一方面或第一方面中任意一种可能设计的所述监播拍照方法的指令的计算机可读存储介质,即所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第一方面中任意一种可能设计所述的监播拍照方法。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果,可以参见第一方面或第一方面中任意一种可能设计所述的监播拍照方法,于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面或第一方面中任意一种可能设计所述的监播拍照方法。其中,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
以上所描述的实施例仅仅是示意性的,若涉及到作为分离部件说明的单元,其可以是或者也可以不是物理上分开的;若涉及到作为单元显示的部件,其可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
最后应说明的是,本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。
Claims (10)
1.一种监播拍照方法,其特征在于,包括:
获取现场实时数据,其中,所述现场实时数据是指针对广告投放设备所处位置现场采集的实时监控数据;
根据所述现场实时数据,识别出是否发生监播拍照触发事件;
若是,则从广告播放正常模式切换进入广告监播拍照模式,其中,在所述广告监播拍照模式下切换播放至少两条广告的速度,快于在所述广告播放正常模式下切换播放所述至少两条广告的速度,以便配合完成针对所述至少两条广告的监播拍照。
2.如权利要求1所述的方法,其特征在于,根据所述现场实时数据,识别出是否发生监播拍照触发事件,包括:
根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,和/或根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在监播拍照设备、拍照指示手势和/或符合监播拍照要求的人体拍照姿势;
若是,则确定发生所述监播拍照触发事件。
3.如权利要求1所述的方法,其特征在于,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
S301.根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,或者根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示进行下一条广告播放的第一拍照指示手势;
S302.若识别出存在所述拍照动作声音或识别出存在所述第一拍照指示手势,则判断所述至少两条广告中是否还存在本轮未播放的广告;
S303.若还存在本轮未播放的广告,则切换播放在所述至少两条广告中的且按照轮播顺序位于当前广告之后的下一条广告,然后返回执行步骤S301。
4.如权利要求2或3所述的方法,其特征在于,根据从所述现场实时数据中抽取得到的音频帧实时信息,识别出是否存在拍照动作声音,包括:
获取与所述音频帧实时信息同步的广告播放声音信息;
在所述音频帧实时信息中剔除与所述广告播放声音信息对应的信息,得到新音频帧实时信息;
将所述新音频帧实时信息导入声音识别模型,识别出是否存在所述拍照动作声音。
5.如权利要求3所述的方法,其特征在于,在判定所述至少两条广告中不存在本轮未播放的广告之后,所述方法还包括:
根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示结束广告播放的第二拍照指示手势;
若识别出存在所述第二拍照指示手势,则从所述广告监播拍照模式切换进入所述广告播放正常模式。
6.如权利要求1所述的方法,其特征在于,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
根据从所述现场实时数据中抽取得到的视频帧实时图像,识别出是否存在用于指示重新进行当前广告播放的第三拍照指示手势;
若识别出存在所述第三拍照指示手势,则重新切换播放当前正在播放的广告。
7.如权利要求1所述的方法,其特征在于,在从广告播放正常模式切换进入广告监播拍照模式之后,所述方法还包括:
启动计时器;
在所述计时器的启动时长达到或超过预设时长阈值时,从所述广告监播拍照模式切换进入所述广告播放正常模式,或者开始进行新的一轮播放:重新切换播放在所述至少两条广告中的且按照轮播顺序处于首个播放位置的广告。
8.一种监播拍照装置,其特征在于,包括有依次通信连接的数据获取模块、事件识别模块和模式切换模块;
所述数据获取模块,用于获取现场实时数据,其中,所述现场实时数据是指针对广告投放设备所处位置现场采集的实时监控数据;
所述事件识别模块,用于根据所述现场实时数据,识别出是否发生监播拍照触发事件;
所述模式切换模块,用于在识别出发生所述监播拍照触发事件时,从广告播放正常模式切换进入广告监播拍照模式,其中,在所述广告监播拍照模式下切换播放至少两条广告的速度,快于在所述广告播放正常模式下切换播放所述至少两条广告的速度,以便配合完成针对所述至少两条广告的监播拍照。
9.一种计算机设备,其特征在于,包括通信相连的存储器和处理器,其中,所述存储器用于存储计算机程序,所述处理器用于读取所述计算机程序,执行如权利要求1~7中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011382359.1A CN112565888B (zh) | 2020-11-30 | 2020-11-30 | 一种监播拍照方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011382359.1A CN112565888B (zh) | 2020-11-30 | 2020-11-30 | 一种监播拍照方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112565888A CN112565888A (zh) | 2021-03-26 |
CN112565888B true CN112565888B (zh) | 2022-06-24 |
Family
ID=75045865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011382359.1A Active CN112565888B (zh) | 2020-11-30 | 2020-11-30 | 一种监播拍照方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112565888B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487355A (zh) * | 2021-07-07 | 2021-10-08 | 维沃移动通信(杭州)有限公司 | 广告展示方法、装置 |
CN116453098A (zh) * | 2023-04-21 | 2023-07-18 | 杭州硕泰科技有限公司 | 一种基于区块链的广告监播分析方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239416A (zh) * | 2014-08-19 | 2014-12-24 | 北京奇艺世纪科技有限公司 | 一种用户识别方法和系统 |
CN104333784A (zh) * | 2013-07-22 | 2015-02-04 | 富泰华工业(深圳)有限公司 | 视频播放控制系统及方法 |
CN106030638A (zh) * | 2013-12-30 | 2016-10-12 | 阿德泰尔技术公司 | 基于运动和姿态的移动终端广告激活 |
CN106375811A (zh) * | 2016-08-31 | 2017-02-01 | 天脉聚源(北京)传媒科技有限公司 | 一种节目的播放控制方法和装置 |
CN106507201A (zh) * | 2016-10-09 | 2017-03-15 | 乐视控股(北京)有限公司 | 一种视频播放控制方法及装置 |
CN110300259A (zh) * | 2019-06-24 | 2019-10-01 | 成都新潮传媒集团有限公司 | 一种户外广告设备快速拍照监播的方法 |
CN110675786A (zh) * | 2019-09-03 | 2020-01-10 | 合肥金誉堂文化传媒有限责任公司 | 一种城市智慧广告播放控制系统 |
WO2020137906A1 (ja) * | 2018-12-28 | 2020-07-02 | Line株式会社 | 端末の表示方法、端末、端末のプログラム |
CN210983500U (zh) * | 2020-02-27 | 2020-07-10 | 王亮 | 一种基于5g技术的楼宇广告系统 |
CN111970568A (zh) * | 2020-08-31 | 2020-11-20 | 上海松鼠课堂人工智能科技有限公司 | 交互式视频播放的方法和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090183199A1 (en) * | 2008-01-10 | 2009-07-16 | James Ivan Stafford | Devices, Systems, and Methods Regarding Advertisement on Demand |
JP5786892B2 (ja) * | 2013-05-16 | 2015-09-30 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
-
2020
- 2020-11-30 CN CN202011382359.1A patent/CN112565888B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104333784A (zh) * | 2013-07-22 | 2015-02-04 | 富泰华工业(深圳)有限公司 | 视频播放控制系统及方法 |
CN106030638A (zh) * | 2013-12-30 | 2016-10-12 | 阿德泰尔技术公司 | 基于运动和姿态的移动终端广告激活 |
CN104239416A (zh) * | 2014-08-19 | 2014-12-24 | 北京奇艺世纪科技有限公司 | 一种用户识别方法和系统 |
CN106375811A (zh) * | 2016-08-31 | 2017-02-01 | 天脉聚源(北京)传媒科技有限公司 | 一种节目的播放控制方法和装置 |
CN106507201A (zh) * | 2016-10-09 | 2017-03-15 | 乐视控股(北京)有限公司 | 一种视频播放控制方法及装置 |
WO2020137906A1 (ja) * | 2018-12-28 | 2020-07-02 | Line株式会社 | 端末の表示方法、端末、端末のプログラム |
CN110300259A (zh) * | 2019-06-24 | 2019-10-01 | 成都新潮传媒集团有限公司 | 一种户外广告设备快速拍照监播的方法 |
CN110675786A (zh) * | 2019-09-03 | 2020-01-10 | 合肥金誉堂文化传媒有限责任公司 | 一种城市智慧广告播放控制系统 |
CN210983500U (zh) * | 2020-02-27 | 2020-07-10 | 王亮 | 一种基于5g技术的楼宇广告系统 |
CN111970568A (zh) * | 2020-08-31 | 2020-11-20 | 上海松鼠课堂人工智能科技有限公司 | 交互式视频播放的方法和系统 |
Non-Patent Citations (2)
Title |
---|
Kinect 3D camera based eye-tracking to detect the amount of indoor advertisement viewer;Calvin Kwan;《2014 International Conference of Advanced Informatics: Concept, Theory and Application (ICAICTA)》;20150112;全文 * |
面向图像的电视广告自动监播系统的研究与实现;于立洋;《中国优秀硕士学位论文全文库》;20080115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112565888A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112565888B (zh) | 一种监播拍照方法、装置、计算机设备及存储介质 | |
KR101706365B1 (ko) | 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 | |
CN104469152B (zh) | 穿戴式设备的自动摄像方法及系统 | |
US20160321497A1 (en) | Ticket evading decision system with human face recognition and usage method thereof | |
WO2017088360A1 (zh) | 一种关闭终端的方法及装置 | |
US20170277200A1 (en) | Method for controlling unmanned aerial vehicle to follow face rotation and device thereof | |
CN116582741B (zh) | 一种拍摄方法及设备 | |
CN103905734A (zh) | 一种智能跟踪摄像方法和装置 | |
CN105513030B (zh) | 一种信息处理方法、装置及电子设备 | |
CN111726689B (zh) | 一种视频播放控制方法及装置 | |
CN107702273B (zh) | 空调控制方法和装置 | |
CN105072327A (zh) | 一种防闭眼的人像拍摄处理的方法和装置 | |
CN103324283A (zh) | 基于人脸识别控制视频播放的方法及其终端 | |
CN112289239B (zh) | 一种可动态调整的讲解方法、装置及电子设备 | |
CN110852196B (zh) | 人脸识别信息展示方法及装置 | |
CN112989950A (zh) | 一种面向多模态特征语义关联特征的暴力视频识别系统 | |
CN114257757B (zh) | 视频的自动裁剪切换方法及系统、视频播放器及存储介质 | |
CN103576862B (zh) | 一种手势控制拍摄的方法和装置 | |
CN108540817B (zh) | 视频数据处理方法、装置、服务器及计算机可读存储介质 | |
CN110971924B (zh) | 一种直播过程中美颜的方法、设备、存储介质及系统 | |
CN106599779A (zh) | 一种人耳识别方法 | |
CN108881119B (zh) | 一种视频浓缩的方法、装置和系统 | |
CN103019381A (zh) | 控制显示屏自动背光的方法 | |
CN113676692A (zh) | 视频会议中视频的处理方法、装置、电子设备及存储介质 | |
JP2017204280A (ja) | ビデオフレームを選択する方法、システム及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |