CN110996148B - 一种基于人脸识别的景区多媒体影像流动播放系统和方法 - Google Patents

一种基于人脸识别的景区多媒体影像流动播放系统和方法 Download PDF

Info

Publication number
CN110996148B
CN110996148B CN201911184578.6A CN201911184578A CN110996148B CN 110996148 B CN110996148 B CN 110996148B CN 201911184578 A CN201911184578 A CN 201911184578A CN 110996148 B CN110996148 B CN 110996148B
Authority
CN
China
Prior art keywords
crowd
tourist
face
multimedia
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911184578.6A
Other languages
English (en)
Other versions
CN110996148A (zh
Inventor
刘丰
马福齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN201911184578.6A priority Critical patent/CN110996148B/zh
Publication of CN110996148A publication Critical patent/CN110996148A/zh
Application granted granted Critical
Publication of CN110996148B publication Critical patent/CN110996148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明提供一种景区多媒体影像的流动播放系统：通过摄像头拍摄场景视频，人脸识别模块识别场景视频中的游客人脸图像，确定出场景画面帧中的游客人脸图像的位置属性；进而由人群聚合模块将游客人脸图像的位置属性接近且具有同步性的游客聚合为游客人群；人群位置分析模块确定游客人群的整体位置分布信息；多媒体片段分解模块将多媒体影像分解为若干多媒体影像片段；从而使得显示控制模块能够根据有效观看区域与游客人群的整体位置分布信息的重合度，向卷式显示器内的子显示区播放面向游客人群的多媒体影像片段。使得游客能够清楚的观看多媒体影像展示，提高游客观赏体验，有效的避免由于道路堵塞通行造成的引发拥挤踩踏人身伤害的安全隐患的问题。

Description

一种基于人脸识别的景区多媒体影像流动播放系统和方法
技术领域
本发明涉及智慧景区技术领域，特别涉及一种基于人脸识别的景区多媒体影像流动播放系统和方法。
背景技术
在现代化的智慧景区中，越来越多的引入了多媒体影像展示，多媒体影像展示丰富多样，比如对景区特色的宣传、复原展示景区发生过的人文历史事件，以及介绍景区展品的知识等，使得游客能够更加了解景区特色以及人文历史事件等，丰富了游客的知识储备，使得游客获得更好的观赏体验。
在多媒体影像展示区域内，若排队参观的游客过多，展示多媒体影像的显示器前方往往滞留聚集较多的游客，对于这种现象的发生，一方面容易导致很多游客视野被遮挡，影响观赏体验的现象，另一方面也导致了道路堵塞通行，具有引发拥挤踩踏人身伤害的安全隐患的问题。
针对上述问题，本发明提供了一种基于人脸识别的景区多媒体影像流动播放系统和方法，使得游客能够清楚的观看多媒体影像展示，提高游客观赏体验，并且能够有效的避免由于道路堵塞通行造成的引发拥挤踩踏人身伤害的安全隐患的问题。
发明内容
(一)发明目的
为克服上述现有技术存在的至少一种缺陷，本发明提供了一种基于人脸识别的景区多媒体影像流动播放系统和方法，不仅使得游客能够清楚的观看多媒体影像展示，提高游客观赏体验，而且能够有效的避免由于道路堵塞通行造成的引发拥挤踩踏人身伤害的安全隐患的问题。
(二)技术方案
作为本发明的第一方面，本发明公开了一种景区多媒体影像的流动播放系统，包括：
卷式显示器，包括：若干子显示区，所述卷式显示器用于为有效观看区域的游客人群播放多媒体影像片段；
若干摄像头，用于拍摄所述有效观看区域以及先导区内的场景视频；
人脸识别模块，用于提取并识别出所述有效观看区域以及先导区内的场景视频中的游客人脸图像，从而确定场景画面帧中的所述游客人脸图像的位置属性；
人群聚合模块，用于根据所述人脸识别模块从所述先导区内的场景视频中提取出的所述游客人脸图像的位置属性，将所述位置属性接近且具有同步性的游客聚合为所述游客人群；
人群位置分析模块，用于根据所述人脸识别模块从所述有效观看区域的所述场景视频中提取出的所述游客人脸图像的位置属性，确定所述游客人群的整体位置分布信息；
显示控制模块，用于根据所述游客人群的整体位置分布信息，确定所述有效观看区域与所述游客人群的整体位置分布信息的重合度，从而向所述重合度最高的所述子显示区播放面向所述游客人群的所述多媒体影像片段；
多媒体片段分解模块，用于将多媒体影像分解为若干所述多媒体影像片段。
一种可能的实施方式中，所述人脸识别模块，用于给每一游客人脸分配一个临时ID，从而确定出所述场景视频的所述场景画面帧中的所述游客人脸图像的位置属性。
一种可能的实施方式中，所述人群聚合模块，用于根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群，从所述聚合人群中选取距离本人群内的所述游客人脸图像平均距离值最小的所述游客人脸图像，作为新的所述聚合中心；将若干所述游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值，进而将若干所述场景画面帧中的所述游客人脸ID按照所述同步性值划分为所述游客人群。
一种可能的实施方式中，所述人群位置分析模块，用于根据所述人群聚合模块确定的所述游客人群的所述游客人脸ID，查找其对应的在所述人脸识别模块中提取的所述游客人脸图像的位置属性，并将所述位置属性分布的区域范围作为所述游客人群的整体位置分布信息。
一种可能的实施方式中，所述多媒体片段分解模块，用于根据所述游客人群的移动速度进行所述多媒体影像片段长度的自适应切分。
作为本发明的第二方面，本发明公开了一种景区多媒体影像的流动播放方法，包括以下步骤：
显示步骤，为若干子显示区对应的有效观看区域的游客人群播放多媒体影像片段；
视频采集步骤，拍摄所述有效观看区域以及先导区内的场景视频；
人脸识别步骤，提取并识别出所述有效观看区域以及先导区内的场景视频中的游客人脸图像，从而确定场景画面帧中的所述游客人脸图像的位置属性；
人群聚合步骤，根据从所述先导区内的场景视频中提取出的所述游客人脸图像的位置属性，将所述位置属性接近且具有同步性的游客聚合为所述游客人群；
人群位置分析步骤，根据从所述有效观看区域的所述场景视频中提取出的所述游客人脸图像的位置属性，确定所述游客人群的整体位置分布信息；
显示控制步骤，根据所述游客人群的整体位置分布信息，确定所述有效观看区域与所述游客人群的整体位置分布信息的重合度，从而向所述重合度最高的所述子显示区播放面向所述游客人群的所述多媒体影像片段；
多媒体片段分解步骤，将多媒体影像分解为若干所述多媒体影像片段。
一种可能的实施方式中，所述人脸识别步骤，给每一游客人脸分配一个临时ID，从而确定出所述场景视频的所述场景画面帧中的所述游客人脸图像的位置属性。
一种可能的实施方式中，所述人群聚合步骤，根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群，从所述聚合人群中选取距离本人群内的所述游客人脸图像平均距离值最小的所述游客人脸图像，作为新的所述聚合中心；将若干所述游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值，进而将若干所述场景画面帧中的所述游客人脸ID按照所述同步性值划分为所述游客人群。
一种可能的实施方式中，所述人群位置分析步骤，根据所述人群聚合步骤中确定的所述游客人群的所述游客人脸ID，查找其对应的在所述人脸识别步骤中提取的所述游客人脸图像的位置属性，并将所述位置属性分布的区域范围作为所述游客人群的整体位置分布信息。
一种可能的实施方式中，所述多媒体片段分解步骤，用于根据所述游客人群的移动速度进行所述多媒体影像片段长度的自适应切分。
(三)有益效果
本发明提供的一种基于人脸识别的景区多媒体影像流动播放系统和方法，通过摄像头拍摄场景视频，由人脸识别模块识别出场景视频中的游客人脸图像，并确定出场景画面帧中的所述游客人脸图像的位置属性；进而由人群聚合模块将所述游客人脸图像的位置属性接近且具有同步性的游客聚合为所述游客人群；人群位置分析模块确定所述游客人群的整体位置分布信息；多媒体片段分解模块将多媒体影像分解为若干所述多媒体影像片段；从而使得显示控制模块能够根据所述有效观看区域与所述游客人群的整体位置分布信息的重合度，向所述卷式显示器内的子显示区播放面向所述游客人群的所述多媒体影像片段。不仅使得游客能够清楚的观看多媒体影像展示，提高游客观赏体验，而且能够有效的避免由于道路堵塞通行造成的引发拥挤踩踏人身伤害的安全隐患的问题。
附图说明
以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。
图1是本发明提供的一种景区多媒体影像的流动播放系统的结构示意图。
图2是本发明提供的一种景区多媒体影像的流动播放系统的结构示意图。
图3是本发明提供的一种景区多媒体影像的流动播放方法的流程图。
附图标记
1 子显示区
2 子显示区
3 子显示区
4 子显示区
1′ 有效观看区域
2′ 有效观看区域
3′ 有效观看区域
4′ 有效观看区域
5′ 有效观看区域
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，均仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
下面参考图1和图2详细描述本发明提供的一种景区多媒体影像的流动播放系统的第一实施例。如图1和图2所示，本实施例提供的多媒体影像的流动播放系统主要包括有：卷式显示器、若干摄像头、人脸识别模块、人群聚合模块、人群位置分析模块、显示控制模块和多媒体片段分解模块。
卷式显示器，包括：若干子显示区，所述卷式显示器用于为有效观看区域的游客人群播放多媒体影像片段。所述卷式显示器可以为长卷式显示器。设置长卷式显示器，且将长卷式显示器划分为若干子显示区，所述子显示区按照游客人群行进的方向顺序依次排列，每个子显示区具有自身的有效观看区域，所有子显示区的有效观看区域合在一起构成长卷式显示器的有效观看区域；当然，长卷式显示器及其有效观看区域可以是直线型，也可以是沿着游客的行进路径以曲线形式设置的。
如图2所示，长卷式显示器包括：子显示区1、子显示区2、子显示区3和子显示区4；以及所述子显示区1对应的有效观看区域1′,所述子显示区2对应的有效观看区域2′,所述子显示区3对应的有效观看区域3′和所述子显示区4对应的有效观看区域4′。
若干摄像头，用于拍摄所述有效观看区域以及先导区内的场景视频。安装面向游客人群的摄像头，用于拍摄长卷式显示器的有效观看区域的场景视频，以及按照游客人群行进的方向来看位于该有效观看区域之前的先导区内的场景视频；由于有效观看区域和先导区的空间分布比较长，因此可以安装多个摄像头，从而能够结合视频拼接技术形成所述场景视频。所述先导区可以是如图2所示的5′。
人脸识别模块，用于提取并识别出所述有效观看区域以及先导区内的场景视频中的游客人脸图像，从而确定场景画面帧中的所述游客人脸图像的位置属性，并以此了解到场景视频的每个场景画面帧中每个游客人脸图像的位置属性。
人群聚合模块，用于根据所述人脸识别模块从所述先导区内的场景视频中提取出的所述游客人脸图像的位置属性，将所述位置属性接近且具有同步性的游客聚合为所述游客人群。人群聚合模块可以将游客聚合为若干个游客人群，从而可以根据游客人群的不同对所述游客观看的多媒体影像作出处理。
人群位置分析模块，用于根据所述人脸识别模块从所述有效观看区域的所述场景视频中提取出的所述游客人脸图像的位置属性，确定所述游客人群的整体位置分布信息。人群位置分析模块可以根据每个游客人脸图像的位置属性，确定所述游客人群中全部游客的位置分布，进而确定出游客人群的整体位置分布信息。
显示控制模块，用于根据所述游客人群的整体位置分布信息，确定所述有效观看区域与所述游客人群的整体位置分布信息的重合度，从而向所述重合度最高的所述子显示区播放面向所述游客人群的所述多媒体影像片段。显示控制模块可以根据游客人群的整体位置分布信息，确定各个子显示区的有效观看区域与该游客人群的整体位置分布信息的重合度，从而选定重合度最高的子显示区；显示控制模块可以利用该重合度最高的子显示区，播放面向该游客人群的一段多媒体影像片段；当多媒体影像片段播放完成后，显示控制模块重复该游客人群的整体位置分布信息与各个子显示区的有效观看区域的重合度的判断，从而再次选定重合度最高的子显示区，利用该重合度最高的子显示区播放面向该游客人群的下一段多媒体影像片段；然后再次重复以上过程，直至所述多媒体影像的全部多媒体影像片段面向该游客人群均播放完成，或者直至该游客人群移出长卷式显示器的整个有效观看区域。
在显示控制模块中，当某个子显示区面向第一个游客人群播放完成一段所述多媒体影像片段后，若判断出该子显示区与第二个游客人群的整体位置分布信息重合度最高，那么此时可以面向第二个游客人群播放其对应的多媒体影像片段。
如图2所示，同一时间内子显示区1和子显示区3能够分别为游客人群B和游客人群A播放多媒体影像片段。
多媒体片段分解模块，用于将多媒体影像分解为若干所述多媒体影像片段，从而使得多媒体影像能够在若干子显示区内为同一游客人群播放。
其中，所述人脸识别模块，用于给每一游客人脸分配一个临时ID，从而确定出所述场景视频的所述场景画面帧中的所述游客人脸图像的位置属性。人脸识别模块能够根据识别出的若干场景画面帧中的游客人脸图像的位置属性判断出每一游客在场景视频中的移动速度和移动距离等。
其中，所述人群聚合模块，用于根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群，从所述聚合人群中选取距离本人群内的所述游客人脸图像平均距离值最小的所述游客人脸图像，作为新的所述聚合中心；将若干所述游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值，进而将若干所述场景画面帧中的所述游客人脸ID按照所述同步性值划分为所述游客人群。具体来说，对应先导区场景视频中的每一个场景画面帧，从其中包含的N个游客人脸图像中随机选择m个(例如m＝4)游客人脸图像作为初始的聚合中心；由于每个游客人脸图像的位置属性不同，故而可以根据其他游客人脸图像与每个初始的聚合中心的距离值，将其归入最近的初始的聚合中心所在的人群，从而形成第1轮的m个聚合人群；从每个聚合人群中选取距离本人群内的游客人脸图像平均距离值最小的一个游客人脸图像，作为第1轮新的聚合中心；进入第2轮，根据其他游客人脸图像与上一轮新的聚合中心的距离值，将所述其他游客人脸图像归入最近的聚合中心所在的人群；从每个聚合人群中选取距离本人群内的游客人脸图像平均距离值最小的一个游客人脸图像作为本轮的聚合中心；重复以上过程，直到每个聚合人群归入的游客人脸图像不再变更，那么对于本场景画面帧的聚合人群划分完成；进而可以得到本场景画面帧中每个聚合人群包含的游客人脸ID。
对于先导区场景视频中的全部场景画面帧(一般1秒钟的视频包含15－30副场景画面帧；假设游客通过先导区的过程中摄录了10秒钟的场景视频，会有150－300幅场景画面帧)，可以从中均匀地抽样出L个场景画面帧，被抽样的每个场景画面帧均被划分为m个聚合人群，则共有L*m个聚合人群；对于出现在这L个场景画面帧中全部的游客人脸ID，计算其中任意两个游客人脸ID的同步性值；将两个游客人脸ID在L*m个聚合人群中属于同一个聚合人群的次数作为所述同步性值，进而能够将这L个场景画面帧中全部的游客人脸ID按照同步性值划分为最终的游客人群；保证在每个最终的游客人群中存在的游客人脸ID相互之间的同步性值均大于一个预设的同步性阈值。举例来说，在50个场景画面帧，每个场景画面帧划分为4个聚合人群，共200个聚合人群，这里面存在A－H共8个游客人脸ID，其中游客人脸IDA与B共同出现在200个聚合人群中的180个聚合人群中，则二者的同步性值为180；这样两两计算A－B，A－C，A－D...A－H，B－C，B－D...B－H，C－D...G－H各自的同步性值；最后划分最终的游客人群，例如，将A－D划分为同一个游客人群，此时A－B，A－C，A－D，B－C，B-D，C－D的同步性值均不低于同步性阈值。
其中，所述人群位置分析模块，用于根据所述人群聚合模块确定的所述游客人群的所述游客人脸ID，查找其对应的在所述人脸识别模块中提取的所述游客人脸图像的位置属性，并将所述位置属性分布的区域范围作为所述游客人群的整体位置分布信息。举例来说，上述人群聚合模块确定了一个最终的游客人群，所述游客人群包含游客人脸ID A－D，人脸识别模块从所述有效观看区域的场景视频中提取到了游客人脸ID A－D及各自的位置属性(XA，YA)，(XB，YB)，(XC，YC)，(XD，YD)，那么人群位置分析模块就可以将涵盖(XA，YA)，(XB，YB)，(XC，YC)，(XD，YD)这些位置点的最小外接矩形作为游客人群的整体位置分布信息。
其中，所述多媒体片段分解模块，用于根据所述游客人群的移动速度进行所述多媒体影像片段长度的自适应切分。多媒体片段分解模块可以根据测算的游客人群的平均移动速度进行多媒体影像片段长度的自适应切分。举例来说，完整的多媒体影像为3分钟，多媒体片段分解模块将其分解为10个多媒体影像片段，每个多媒体影像片段18秒(若所述游客人群的平均移动速度更快，那么多媒体影像可以分解为更多的多媒体影像片段)；显示控制模块可以根据其中一个游客人群的整体位置分布信息，判定出其与子显示区1的有效观看区域重合度最高，那么可以使用子显示区1面向该游客人群播放第1段多媒体影像片段；播放完成后，重复该游客人群的整体位置分布信息与各个子显示区的有效观看区域的重合度的判断，若此时游客人群的整体位置分布信息仍与子显示区1的重合度最高，那么可以继续使用子显示区1播放第2段多媒体影像片段；由于在播放的过程中人群还在继续前进，那么当第2段多媒体影像片段18秒播放完毕后再次进行重合度的判断时，若确定该游客人群的整体位置分布信息变为与子显示区2的有效观看区域重合度最高了，那么可以使用子显示区2播放第3段多媒体影像片段，依次类推，直至所述多媒体影像的全部10个多媒体影像片段面向该游客人群均播放完成；或者直至该游客人群移出长卷式显示器的整个有效观看区域。
本发明通过摄像头拍摄场景视频，由人脸识别模块识别出场景视频中的游客人脸图像，并确定出场景画面帧中的所述游客人脸图像的位置属性；进而由人群聚合模块将所述游客人脸图像的位置属性接近且具有同步性的游客聚合为所述游客人群；人群位置分析模块确定所述游客人群的整体位置分布信息；多媒体片段分解模块将多媒体影像分解为若干所述多媒体影像片段；从而使得显示控制模块能够根据所述有效观看区域与所述游客人群的整体位置分布信息的重合度，向所述卷式显示器内的子显示区播放面向所述游客人群的所述多媒体影像片段。本发明所述的一种基于人脸识别的景区多媒体影像流动播放系统，不仅使得游客能够清楚的观看多媒体影像展示，提高游客观赏体验，而且能够有效的避免由于道路堵塞通行造成的引发拥挤踩踏人身伤害的安全隐患的问题。
下面参考图3详细描述本发明提供的一种景区多媒体影像的流动播放方法的第一实施例。如图3所示，本实施例提供的多媒体影像的流动播放方法主要包括有：显示步骤、视频采集步骤、人脸识别步骤、人群聚合步骤、人群位置分析步骤、显示控制步骤和多媒体片段分解步骤。
显示步骤，为若干子显示区对应的有效观看区域的游客人群播放多媒体影像片段；
视频采集步骤，拍摄所述有效观看区域以及先导区内的场景视频；
人脸识别步骤，提取并识别出所述有效观看区域以及先导区内的场景视频中的游客人脸图像，从而确定场景画面帧中的所述游客人脸图像的位置属性；
人群聚合步骤，根据从所述先导区内的场景视频中提取出的所述游客人脸图像的位置属性，将所述位置属性接近且具有同步性的游客聚合为所述游客人群；
人群位置分析步骤，根据从所述有效观看区域的所述场景视频中提取出的所述游客人脸图像的位置属性，确定所述游客人群的整体位置分布信息；
显示控制步骤，根据所述游客人群的整体位置分布信息，确定所述有效观看区域与所述游客人群的整体位置分布信息的重合度，从而向所述重合度最高的所述子显示区播放面向所述游客人群的所述多媒体影像片段；
多媒体片段分解步骤，将多媒体影像分解为若干所述多媒体影像片段。
其中，所述人脸识别步骤，给每一游客人脸分配一个临时ID，从而确定出所述场景视频的所述场景画面帧中的所述游客人脸图像的位置属性。
其中，所述人群聚合步骤，根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群，从所述聚合人群中选取距离本人群内的所述游客人脸图像平均距离值最小的所述游客人脸图像，作为新的所述聚合中心；将若干所述游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值，进而将若干所述场景画面帧中的所述游客人脸ID按照所述同步性值划分为所述游客人群。
其中，所述人群位置分析步骤，根据所述人群聚合步骤中确定的所述游客人群的所述游客人脸ID，查找其对应的在所述人脸识别步骤中提取的所述游客人脸图像的位置属性，并将所述位置属性分布的区域范围作为所述游客人群的整体位置分布信息。
其中，所述多媒体片段分解步骤，用于根据所述游客人群的移动速度进行所述多媒体影像片段长度的自适应切分。
本发明通过视频采集步骤拍摄场景视频，由人脸识别步骤识别出场景视频中的游客人脸图像，并确定出场景画面帧中的所述游客人脸图像的位置属性；进而由人群聚合步骤将所述游客人脸图像的位置属性接近且具有同步性的游客聚合为所述游客人群；人群位置分析步骤确定所述游客人群的整体位置分布信息；多媒体片段分解步骤将多媒体影像分解为若干所述多媒体影像片段；从而使得显示控制步骤能够根据所述有效观看区域与所述游客人群的整体位置分布信息的重合度，向所述子显示区播放面向所述游客人群的所述多媒体影像片段。本发明所述的一种基于人脸识别的景区多媒体影像流动播放方法，不仅使得游客能够清楚的观看多媒体影像展示，提高游客观赏体验，而且能够有效的避免由于道路堵塞通行造成的引发拥挤踩踏人身伤害的安全隐患的问题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种景区多媒体影像的流动播放系统,其特征在于，包括：
卷式显示器，包括：若干子显示区，所述卷式显示器用于为有效观看区域的游客人群播放多媒体影像片段；其中，所述子显示区按照游客人群行进的方向顺序依次排列，每个子显示区具有自身的有效观看区域，所有子显示区的有效观看区域合在一起构成长卷式显示器的有效观看区域；
若干摄像头，用于拍摄所述有效观看区域以及先导区内的场景视频；其中，所述先导区设置在按照游客人群行进的方向来看位于所述有效观看区域之前的区域内；
人脸识别模块，用于提取并识别出所述有效观看区域以及先导区内的场景视频中的游客人脸图像，从而确定场景画面帧中的所述游客人脸图像的位置属性；
人群聚合模块，用于根据所述人脸识别模块从所述先导区内的场景视频中提取出的所述游客人脸图像的位置属性，将所述位置属性接近且具有同步性的游客聚合为所述游客人群；其中，根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群；将若干游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值；
人群位置分析模块，用于根据所述人脸识别模块从所述有效观看区域的所述场景视频中提取出的所述游客人脸图像的位置属性，确定所述游客人群的整体位置分布信息；
显示控制模块，用于根据所述游客人群的整体位置分布信息，确定所述有效观看区域与所述游客人群的整体位置分布信息的重合度，从而向所述重合度最高的所述子显示区播放面向所述游客人群的所述多媒体影像片段；其中，所述显示控制模块根据游客人群的整体位置分布信息，确定各个子显示区的有效 观看区域与所述游客人群的整体位置分布信息的重合度，选取重合度最高的子显示区，并利用所述重合度最高的子显示区，播放面向所述游客人群的一段多媒体影像片段；当多媒体影像片段播放完成后，显示控制模块重复所述游客人群的整体位置分布信息与各个子显示区的有效观看区域的重合度的判断，再次选取重合度最高的子显示区，利用该重合度最高的子显示区播放面向所述游客人群的下一段多媒体影像片段；再次重复以上过程，直至所述多媒体影像的全部多媒体影像片段面向所述游客人群均播放完成，或者直至所述游客人群移出长卷式显示器的整个有效观看区域；
多媒体片段分解模块，用于将多媒体影像分解为若干所述多媒体影像片段。
2.根据权利要求1所述的多媒体影像的流动播放系统,其特征在于，所述人脸识别模块，用于给每一游客人脸分配一个临时ID，从而确定出所述场景视频的所述场景画面帧中的所述游客人脸图像的位置属性。
3.根据权利要求2所述的多媒体影像的流动播放系统,其特征在于，所述人群聚合模块，用于根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群，从所述聚合人群中选取距离本人群内的所述游客人脸图像平均距离值最小的所述游客人脸图像，作为新的所述聚合中心，根据其他游客人脸图像与新的所述聚合中心的距离值，将所述其他游客人脸图像归入最近的聚合中心所在的人群，并从每个聚合人群中选取距离本人群内的游客人脸图像平均距离值最小的一个游客人脸图像作为本轮的聚合中心，重复以上过程，直到每个聚合人群归入的游客人脸图像不再变更，生成聚合人群；将若干所述游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值，进而将若干所述场景画面帧中的所述游客人脸ID按照所述同步性值划分为所述游客人群。
4.根据权利要求3所述的多媒体影像的流动播放系统,其特征在于，所述人群位置分析模块，用于根据所述人群聚合模块确定的所述游客人群的所述游客人脸ID，查找其对应的在所述人脸识别模块中提取的所述游客人脸图像的位置属性，并将所述位置属性分布的区域范围作为所述游客人群的整体位置分布信息。
5.根据权利要求1所述的多媒体影像的流动播放系统,其特征在于，所述多媒体片段分解模块，用于根据所述游客人群的移动速度进行所述多媒体影像片段长度的自适应切分。
6.一种景区多媒体影像的流动播放方法,其特征在于，包括以下步骤：
显示步骤，为若干子显示区对应的有效观看区域的游客人群播放多媒体影像片段；其中，所述子显示区按照游客人群行进的方向顺序依次排列，每个子显示区具有自身的有效观看区域，所有子显示区的有效观看区域合在一起构成长卷式显示器的有效观看区域；
视频采集步骤，拍摄所述有效观看区域以及先导区内的场景视频；其中，所述先导区设置在按照游客人群行进的方向来看位于所述有效观看区域之前的区域内；
人脸识别步骤，提取并识别出所述有效观看区域以及先导区内的场景视频中的游客人脸图像，从而确定场景画面帧中的所述游客人脸图像的位置属性；
人群聚合步骤，根据从所述先导区内的场景视频中提取出的所述游客人脸图像的位置属性，将所述位置属性接近且具有同步性的游客聚合为所述游客人群；其中，根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群；将若干游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值；
人群位置分析步骤，根据从所述有效观看区域的所述场景视频中提取出的所述游客人脸图像的位置属性，确定所述游客人群的整体位置分布信息；
显示控制步骤，根据所述游客人群的整体位置分布信息，确定所述有效观看区域与所述游客人群的整体位置分布信息的重合度，从而向所述重合度最高的所述子显示区播放面向所述游客人群的所述多媒体影像片段；其中，根据游客人群的整体位置分布信息，确定各个子显示区的有效观看区域与所述游客人群的整体位置分布信息的重合度，选取重合度最高的子显示区，并利用所述重合度最高的子显示区，播放面向所述游客人群的一段多媒体影像片段；当多媒体影像片段播放完成后，重复所述游客人群的整体位置分布信息与各个子显示区的有效观看区域的重合度的判断，再次选取重合度最高的子显示区，利用该重合度最高的子显示区播放面向所述游客人群的下一段多媒体影像片段；再次重复以上过程，直至所述多媒体影像的全部多媒体影像片段面向所述游客人群均播放完成，或者直至所述游客人群移出长卷式显示器的整个有效观看区域；
多媒体片段分解步骤，将多媒体影像分解为若干所述多媒体影像片段。
7.根据权利要求6所述的多媒体影像的流动播放方法,其特征在于，所述人脸识别步骤，给每一游客人脸分配一个临时ID，从而确定出所述场景视频的所述场景画面帧中的所述游客人脸图像的位置属性。
8.根据权利要求7所述的多媒体影像的流动播放方法,其特征在于，所述人群聚合步骤，根据其他游客人脸图像与聚合中心的距离值，将其归入最近的所述聚合中心所在的人群，从而形成聚合人群，从所述聚合人群中选取距离本人群内的所述游客人脸图像平均距离值最小的所述游客人脸图像，作为新的所述聚合中心，根据其他游客人脸图像与新的所述聚合中心的距离值，将所述其 他游客人脸图像归入最近的聚合中心所在的人群，并从每个聚合人群中选取距离本人群内的游客人脸图像平均距离值最小的一个游客人脸图像作为本轮的聚合中心，重复以上过程，直到每个聚合人群归入的游客人脸图像不再变更，生成聚合人群；将若干所述游客人脸ID在所述场景视频中的若干所述场景画面帧的所有所述聚合人群中属于同一所述聚合人群的次数作为同步性值，进而将若干所述场景画面帧中的所述游客人脸ID按照所述同步性值划分为所述游客人群。
9.根据权利要求8所述的多媒体影像的流动播放方法,其特征在于，所述人群位置分析步骤，根据所述人群聚合步骤中确定的所述游客人群的所述游客人脸ID，查找其对应的在所述人脸识别步骤中提取的所述游客人脸图像的位置属性，并将所述位置属性分布的区域范围作为所述游客人群的整体位置分布信息。
10.根据权利要求6所述的多媒体影像的流动播放方法,其特征在于，所述多媒体片段分解步骤，用于根据所述游客人群的移动速度进行所述多媒体影像片段长度的自适应切分。
CN201911184578.6A 2019-11-27 2019-11-27 一种基于人脸识别的景区多媒体影像流动播放系统和方法 Active CN110996148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911184578.6A CN110996148B (zh) 2019-11-27 2019-11-27 一种基于人脸识别的景区多媒体影像流动播放系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911184578.6A CN110996148B (zh) 2019-11-27 2019-11-27 一种基于人脸识别的景区多媒体影像流动播放系统和方法

Publications (2)

Publication Number Publication Date
CN110996148A CN110996148A (zh) 2020-04-10
CN110996148B true CN110996148B (zh) 2021-11-30

Family

ID=70087548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911184578.6A Active CN110996148B (zh) 2019-11-27 2019-11-27 一种基于人脸识别的景区多媒体影像流动播放系统和方法

Country Status (1)

Country Link
CN (1) CN110996148B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN111626254B (zh) * 2020-06-02 2024-04-16 上海商汤智能科技有限公司 一种展示动画触发方法及装置
CN114237483B (zh) * 2022-02-25 2022-05-17 深圳数字视界科技有限公司 触摸物体智能识别桌及其智能控制方法
CN115474096A (zh) * 2022-09-09 2022-12-13 广州励丰文化科技股份有限公司 多媒体播放方法、电子设备终端及存储介质
CN117156203B (zh) * 2023-09-19 2024-05-07 广西艺术学院 一种自动视频展示方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
WO2013166411A1 (en) * 2012-05-03 2013-11-07 United Video Properties, Inc. Systems and methods for preventing access to a media asset segment during a fast-access playback operation
CN104268528A (zh) * 2014-09-28 2015-01-07 深圳市科松电子有限公司 一种人群聚集区域检测方法和装置
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9397890B2 (en) * 2009-02-02 2016-07-19 Waldeck Technology Llc Serving a request for data from a historical record of anonymized user profile data in a mobile environment
CN108882024B (zh) * 2018-08-01 2021-08-20 北京奇艺世纪科技有限公司 一种视频播放方法、装置及电子设备
CN109559663A (zh) * 2018-10-19 2019-04-02 闪维（北京）文化有限公司 一种基于多媒体项目制作与管理系统的互动沙盘
CN110455289B (zh) * 2019-06-24 2020-09-11 特斯联（北京）科技有限公司 一种基于人脸技术的智慧旅游游客导引系统与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
WO2013166411A1 (en) * 2012-05-03 2013-11-07 United Video Properties, Inc. Systems and methods for preventing access to a media asset segment during a fast-access playback operation
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置
CN104268528A (zh) * 2014-09-28 2015-01-07 深圳市科松电子有限公司 一种人群聚集区域检测方法和装置

Also Published As

Publication number Publication date
CN110996148A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110996148B (zh) 一种基于人脸识别的景区多媒体影像流动播放系统和方法
US9298986B2 (en) Systems and methods for video processing
US20220375262A1 (en) Object tracking and best shot detection system
US10979721B2 (en) Predicting and verifying regions of interest selections
CA2761187C (en) Systems and methods for the autonomous production of videos from multi-sensored data
US9256955B2 (en) System and method for processing visual information for event detection
US10614314B2 (en) Image summarization system and method
KR101606100B1 (ko) 비디오 축약 방법 및 장치
US20190251364A1 (en) Image summarization system and method
CN102469304A (zh) 视频处理
CN106663325B (zh) 图像处理装置及其图像处理方法
CN108293140A (zh) 公共媒体段的检测
JP5360979B2 (ja) 重要情報抽出方法および装置
US20160073179A1 (en) Video processing system and method
CN110633648A (zh) 一种自然行走状态下的人脸识别方法和系统
US20120001828A1 (en) Selecting displays for displaying content
CN109492545B (zh) 一种基于场景及压缩信息的五官定位方法和系统
Hasan et al. Simultaneous traffic sign recognition and real-time communication using dual camera in ITS
JP2017211731A (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP2006301995A (ja) 人物検索装置及び人物検索方法
CN107484013A (zh) 一种利用移动设备进行电视节目互动的方法
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN102254267A (zh) 户外媒体受众数量分析方法及装置
US10405065B2 (en) Video processing system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant