CN111641783A

CN111641783A - 一种景点自拍控制方法与系统

Info

Publication number: CN111641783A
Application number: CN202010575119.7A
Authority: CN
Inventors: 张益�
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-06-22
Filing date: 2020-06-22
Publication date: 2020-09-08

Abstract

本发明公开了一种景点自拍控制方法和系统，该方法涉及服务器、照相与摄像设备、智能控制设备和手机App；照相与摄像设备安装在自拍景点现场，连接到智能控制设备，智能控制设备连接到服务器；用户使用手机App预约自拍服务，预约信息保存在服务器；用户在景点现场发起自拍申请，经服务器授权后连接到智能控制设备，智能控制设备确认是用户现场自拍而不是远程拍摄后，用户手机App进入自拍预览模式，用户通过手机App进行自拍效果预览，调整位置及拍摄参数，自拍过程中上，用户可以选择由智能控制设备根据手势、人体姿态自动控制方式完成自拍，本发明将给用户在景点自拍带来全新的用户体验。

Description

一种景点自拍控制方法与系统

技术领域

本发明涉及手机自拍、AI边缘计算与计算机视觉应用。

背景技术

现在，智能手机已经非常普及，用智能手机进行拍照或自拍，基本上已成为智能手机用户的基本技能，所以，当人们旅行经过景点的时候，或有纪念意义的地方时，通常都会有拍照与自拍的需求，也是因为这个原因，自拍杆曾经非常流行，后来，因为多数景点节假日人流太多，考虑到安全方面的原因，在很多景点自拍杆被禁止使用或有条件使用，实际上，不管是否用自拍杆，由于视角方面的原因，自拍效果很难达到该景点最佳。

人工智能技术，特别是计算机视觉，在很多场景比如安防、质检上有一些创新应用，物联网也在高速发展中，在旅游业应该也有创新应用场景，比如这个景点自拍问题，可以通过创新应用使用户在景点自拍体验大幅改善，给用户带来全新的自拍体验。

发明内容

本发明所要解决的问题：设计一种可以在景区景点或有纪念意义的地方的自拍系统，不使用自拍杆或手机本身的相机完成自拍，但可以通过手机App预览或操控，更优的方式是通过计算视觉AI根据用户的手势、姿态等进行自动拍摄。

为解决上述问题，本发明采用的方案如下：

根据本发明的一种景点自拍方法，该方法涉及服务器、照相与摄像设备、智能控制设备和手机App；所述照相与摄像设备，安装在自拍景点现场，连接到所述智能控制设备；所述智能控制设备，连接到所述服务器；所述手机App连接到所述服务器，经所述服务器授权后，可连接到智能控制设备，该方法包括以下步骤。

用户用所述手机App预约自拍服务，预约成功后的信息将会在所述后台服务器登记保存。

进一步，游客在景点现场，用所述手机App向所述服务器申请自拍服务，所述服务器根据预约信息检查所述自拍服务申请，检查通过后向所述手机App下发自拍服务授权信息，同时向所述智能控制设备下发自拍服务控制信息，所述自拍服务授权信息包括安全连接到所述智能控制设备的信息，包括地址、端口、限定有效期的访问令牌等；所述自拍服务控制信息包括服务自拍预约信息、手机App访问令牌校验信息。

进一步，所述手机App使用所述服务器下发的自拍服务授权信息，连接到所述智能控制设备，并发送景点现场自拍服务请求信息，所述请求信息中，包括用所述手机App拍摄的用户当前人脸图像信息。

进一步，所述智能控制设备使用所述自拍服务控制信息，检查所述请求信息有效性，检查通过后，向所述手机App发送自拍站位指示作为请求成功的回复。

进一步，用户根据站位提示，走向拍摄位置，与此同时，所述智能控制设备连续从所述前端照相与拍摄设备上获取照片，使用所述请求信息中的现场人脸图像信息，检测游客是否到达拍摄位置。

进一步，当检测到游客到达拍摄位置，可以确认用户是现场自拍而不是远程拍摄，通知所述手机App进入自拍预览模式。

进一步，所述手机App进入预览模式后，用户可通过所述手机App预览拍摄效果，并进行拍摄前的调整；当用户认为调整合适后，通过所述手机App或手势，通知前端智能控制设备，进入自拍时间，随后游客可以尽情开始自拍表演。

进一步，所述前端智能设备收到启动拍摄指令后，根据所述自拍服务控制信息，控制所述照相和拍摄设备进行照相或短视频拍摄，拍摄过程中，用户可以选择不使用所述手机App操控，而是由所述智能控制设备使用计算机视觉技术控制拍摄过程：通过识别用户手势控制短视频自拍的开始和停止，通过识别用户人体姿态变化，控制成像设备完成拍摄抓拍照片。

进一步，拍摄完成后。拍摄结果直接发送到所述手机App，同时，会上传到服务器保存一个副本。

根据本发明的一种景点自拍方法，该方法涉及服务器、照相与摄像设备、智能控制设备和手机App。所述后台服务器包括以下模块：

MS1，用于：自拍服务管理，包括预约登记、现场自拍服务申请受理等；

MS2，用于：自拍照片或短视频保存；

所述前端照相与摄像设备，包括以下模块：

MC1，用于：拍照或摄像，并生成照片或视频流输出；

MC2，可选，用于：调整焦距、光圈、补光；

MC3，可选，用于：调整镜头角度；

MC4，用于：和所述前端智能设备交互；

所述前端智能通讯设备，包括以下模块：

MEA1，用于：和后台服务器交互；

MEA2，用于：和所述照相与拍摄设备交互；

MEA3，用于：和所述手机App交互；

MEA4，用于：AI边缘计算，为自拍过程中的AI运算提供算力支持；

MEA5，用于：自拍服务排队调度；

所述前端手机App，包括以下模块：

MA1，用于：自拍服务管理；

MA2，用于：自拍操作。

本发明的技术效果如下：

1、用户仍然使用手机完成自拍，用户习惯没有大的改变，但由于可以使用事先安装好的一个或多个照相与拍摄设备，拍摄效果、角度和视觉，都将超过一般手机自拍，包括使用手机自拍杆，自拍用户体验将有明显的提升；

2、自拍过程中，用户可以不使用手机，尽情表演，这又是与传统手机自拍不一样的体验。

附图说明

图1是本发明系统的整体结构示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1所示，本发明的一种景点自拍控制方法和系统，包括服务器 100、若干照相与摄像设备 300、若干台智能控制设备 200组成的小集群，以及手机App 400。

后台服务器 100，部署在云端或Internet上。

智能控制设备200，一般部署在景点现场或景点附近，根据景点网络情况，以有线或移动4G 或 5G方式，和后台服务器100相联，通讯协议一般采用物联网常用的MQTT协议；同时，需要接入景点现场局域网，以便以较高的速率和照相与拍摄设备300通讯，智能控制设备通过照相与拍摄设备提供300的服务接口，可以根据需要控制照相与拍摄设备，包括拍照、获取视频流、调整焦距与曝光度等；需要说明的是，为了确保能提供稳定的服务，前端智能设备200一般需要2台，组成一个负载均衡的小集群，一台宕机时，另一台能继续正常工作。

照相与摄像设备300，安装在自拍景点现场，一般固定支架上，正对比较好的取景位置，需要做防水防雨处理，同时，通过有线或无线网络，接入景点现场局域网，以便可以连接到智能控制设备200；需要说明的是，作为一个选项，可以将照相与摄像设备300 直接和智能控制设备200 相连接。

手机App 400 和智能控制设备之间的连接的方式有三种，一是前端智能设备200有公网IP，二是前端智能设备200 没有公网IP，但可以将服务端口映射到公网上，三是让手机App 以适当方式，在使用景点现场自拍服务期间，临时接入景点局域网；方式三的实现方式又有多种，一种是使用WIFI 热点的方式接入，另一种是手机App 400和智能控制设备200 之间使用 WIFI 直联的方式。

用户使用自拍服务，需要预约，预约通过手机App 400 操作完成。预约信息至少包括用户信息、自拍景点、自拍类型；预约成功后的信息，将保存到服务器100上。需要说明的时，用户可以在景点现场预约，预约成功后立即进入下一步。

用户到达景点现场，用手机App400向服务器100申请自拍服务，申请信息中需要包括当前景点信息，后台服务器100收到申请后，检查预约信息，检查通过后，将向手机App400 下发自拍服务授权信息，向该景点智能控制设备200下发自拍服务控制信息。下发给手机App 400的授权信息，包括手机App 400 访问智能控制设备200 服务需要的智能控制设备地址、服务端口、访问方式、访问需要的临时令牌，如果该景点支持手机App 400 连接到景点本地局域网，授权信息还包括连接到本地局域网需要的信息，如连接方式、连接凭据如WIFI 的SSID 和密钥或WIFI直连需要的设备名及密钥；下发给智能控制设备200 的自拍服务控制信息，包括预约自拍服务的基本信息如用户信息、自拍类型、自拍时间，以及用于检查手机App 令牌有效性的校验信息。

手机App 400 收到授权信息后，如果需要连接到景点本地局域网，将使用授权信息中的连接方式，根据连接凭据信息，连接到本地局域网或者直接连接智能控制设备。

手机App400 确认可以连接到智能控制设备后，开启手机摄像头，采集用户当前人脸信息，连同访问令牌信息一起，向智能控制设备发出启动景点现场自拍请求，需要说明的是，在采集当前用户人脸信息时，会有活体检测方面的要求，比如提示用户张嘴或加一个手势。

智能设备200 根据服务器下发的自拍服务控制信息，检查确认游客手机App 400身份及令牌有效性，检查通过后将该请求纳入现场自拍排队等待系统。

当轮到该用户启动景点现场自拍时，智能设备200 将向游客手机App400 发出准备通知，通知信息包括当前景点现场照片，并对游客站位点用框标注；需要说明的是，虽然现场一般有自拍站位提示，但在手机App上用当前实际照片加上标注框的方式，会给用户有更好的体验。

用户根据站位提示，走向拍摄位置，与此同时，所述智能控制设备200连续从照相与拍摄设备上300获取照片，使用请求信息中的现场人脸图像信息，检测用户是否到达拍摄位置。

当智能控制设备200检测到用户到达拍摄位置后，就可以确认用户是现场自拍而不是远程拍摄，同时，用户已到达拍摄位置，现场自拍准备工作完成，智能控制设备200将通知所述手机App400进入自拍预览模式，并且向App400 开放预览拍摄效果需要的视频流。

所述手机App进入预览模式后，用户可通过所述手机App预览拍摄效果，并进行拍摄前的调整，可以调整的内容受照相与拍摄设备功能的影响，焦距、光圈等都是支持的，但镜头角度则不是所有设备都支持，如果不支持调整镜头角度，用户可能需要调整自己的站位，当用户认为调整合适后，通过所述手机App或手势，通知前端智能控制设备，进入自拍时间，随后游客可以尽情开始自拍表演。

需要说明的时，这种自拍和手机自拍还是有所不同，如果要看着手机屏幕点击拍摄，有可能会出现手机遮挡用户的情况，所以，用户可以选择照相或拍摄过程，由智能控制设备，根据用户手势或身体姿态，以及预约自拍服务时的选项，自动完成，智能控制设备使用计算机视觉技术，通过识别用户手势来控制自拍短视频的开始和停止，通过识别用户人体姿态变化，来自动抓拍照片。

拍摄结束后，拍摄的照片或短视频，将直接发送到手机App 400，同时，会上传到后台服务器 100 保存一个副本，供用户后期选用，或者通过计算机视觉AI进行二次加工。

Claims

1.一种景点自拍控制方法，其特征在于，该方法涉及服务器、照相与摄像设备、智能控制设备和手机App；所述照相与摄像设备，安装在自拍景点现场，连接到所述智能控制设备；所述智能控制设备，连接到所述服务器；所述手机App连接到所述服务器，经所述服务器授权后，可连接到智能控制设备，该方法包括以下步骤：

S1：用户用所述手机App预约自拍服务，预约信息将保存在所述服务器；

S2：用户在景点现场，用所述手机App向所述服务器申请自拍服务，所述服务器根据预约信息检查所述自拍服务申请，检查通过后向所述手机App下发自拍服务授权信息，同时向所述智能控制设备下发自拍服务控制信息；

S3：所述手机App使用所述自拍服务授权信息，连接到所述智能控制设备，并发送景点现场自拍请求信息，所述请求信息中，包括拍摄用户当前的人脸图像信息；所述智能控制设备使用所述自拍服务控制信息，检查所述请求信息有效性，检查通过后，向所述手机App发送自拍站位指示作为请求成功的回复；

S4：用户根据站位提示，到达拍摄位置，与此同时，所述智能控制设备连续从所述前端照相与拍摄设备上获取照片，使用所述请求信息中的现场人脸图像信息，检测游客是否到达拍摄位置，当检测到游客到达拍摄位置后，可以确认用户是现场自拍而不是远程拍摄，通知所述手机App进入自拍预览模式；

S5：所述手机App进入预览模式后，用户可通过所述手机App预览拍摄效果，并进行拍摄前的调整；当用户认为调整合适后，通过所述手机App或手势，通知前端智能控制设备，进入自拍时间，随后游客可以尽情开始自拍表演；

S6：所述前端智能设备收到启动拍摄指令后，根据所述自拍服务控制信息，控制所述照相和拍摄设备进行照相或短视频拍摄，拍摄结果直接发送到所述手机App，同时，会上传到服务保存一个副本。

2.如权利要求1所述的一种景点自拍控制方法，其特征在于，需要确认用户在景点现场，才可开启预览模式，所述手机App才能看到预览图像。

3.如权利要求2所述的确认用户在景点现场，其特征在于，确认用户在现场自拍的方法，是所述智能控制设备通过所述照相与摄像设备，从拍摄站位点拍摄用户人脸图像，和用户申请自拍请求中提交的人脸图像信息进行比对。

4.如权利要求1所述的一种景点自拍控制方法，其特征在于，自拍启动后，用户可以选择拍照或摄像过程中，不需要使用所述手机App操控，而是由所述智能控制设备自动控制，控制方法是使用计算机视觉技术，识别当前拍摄用户的手势或人体姿态，控制所述照相与成像设备完成拍摄。

5.如权利要求4所述的智能控制设备在自拍过程中自动拍摄，其特征在于，所述智能控制设备，通过识别用户手势来控制自拍短视频的开始和停止。

6.如权利要求4所述的智能控制设备在自拍中自动控制拍摄，其特征在于，所述智能控制设备，通过识别用户人体姿态来控制抓拍用户照片，具体的规则是检测到用户姿态静止不动后开始抓拍用户照片。