CN113301189A - 基于CamShift的移动客户端跟随拍摄方法和装置 - Google Patents
基于CamShift的移动客户端跟随拍摄方法和装置 Download PDFInfo
- Publication number
- CN113301189A CN113301189A CN202110374490.1A CN202110374490A CN113301189A CN 113301189 A CN113301189 A CN 113301189A CN 202110374490 A CN202110374490 A CN 202110374490A CN 113301189 A CN113301189 A CN 113301189A
- Authority
- CN
- China
- Prior art keywords
- information
- camera
- image
- camshift
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 5
- 230000007812 deficiency Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于CamShift的移动客户端跟随拍摄方法和装置，方法包括以下步骤：手机与支撑装置建立BLE连接；开启手机相机，展示拍摄图像；开启检测线程，循坏处理图像信息；获取用户标定的区域并进行坐标转换；图像信息预处理；调用CamShift算法计算被跟踪的移动物体的位置信息；判断移动物体是否偏离图像中心，控制使被跟踪的移动物体一直处于拍摄的中心；该装置包括用于架设移动终端且带动移动终端旋转的支撑装置、以及支撑装置上带有跟随拍摄APP软件的移动终端。本发明克服了传统的偏见，即过分强调自动化，试图用全部自动化代替人工的偏见，采用了人机结合、互相取长补短的方法，实现了人和智能设备的最佳匹配。
Description
技术领域
本发明属于智能手机视频拍摄技术领域，尤其涉及一种基于CamShift的移动客户端跟随拍摄方法和装置。
背景技术
随着智能手机的普及，一种新的家庭娱乐需求方法悄然而起：人们对其喜爱的有生命物体或宠物，往往希望通过拍摄视频的方法记录下人和有生命物体或宠物互动产生的结果，例如，在人的语音和肢体动作的诱导下，有生命物体或宠物接收了人的信号，作出一系列连续动作、直至达到人所期望的效果，从而满足人对有生命物体或宠物的喜爱以及成就感。但此时如果人手持智能手机直接拍摄，由于人的双手被占用，而且必须一直跟随着移动的物体，无法做出与移动物体互动的动作。
现有技术采用的方案是通过将智能手机放置于手机支架上，利用手机上的app，识别人脸跟随人脸转动，但这要求人必须和移动物体在一起，通过跟随人脸，附带拍摄到移动物体，这种方法因为识别主体不是移动物体，所以会经常出现移动物体的丢失或者不在拍摄的中心。
现有技术采用的另一方案是利用手机上app上存储的特定类型物体模型库去识别要跟踪的物体，然后实现跟踪拍摄，但这受限于待跟随的物体的种类是否存在于模型库中，如果待跟随的物体不在可识别的特定类型物体模型库中时，则无法跟随拍摄。此方案的缺点在于：随机性不强，受到模型库的限制。
发明内容
本发明针对现有技术的不足，提出一种基于CamShift的移动客户端跟随拍摄方法和装置，第一目的在于解决现有技术拍摄人和动物互动视频时，以人脸为中心，附带拍摄到移动物体，致使经常出现待跟踪物体的丢失或者不在拍摄的中心的问题；第二目的在于解决现有技术根据特定类型物体模型特征库进行待跟踪物体的识别，实际应用时随机性不强、受到特定类型物体模型特征库的限制的问题。
本发明为解决其技术问题采用以下技术方案。
一种基于CamShift的移动客户端跟随拍摄方法，包括以下步骤：
步骤一、手机与支撑装置建立BLE连接；
步骤二、开启手机相机，展示拍摄图像；
步骤三、开启检测线程，循坏处理图像信息；
步骤四、获取用户标定的区域并进行坐标转换；
步骤五、图像信息预处理；
步骤六、调用CamShift算法计算被跟踪的移动物体的位置信息；
步骤七、判断移动物体是否偏离图像中心，如果偏离了，则控制支撑设备的转动，使被跟踪的移动物体一直处于拍摄的中心；如果没有偏离，则停止设备转动；
步骤八、判定用户是否继续标定目标，如果是，则返回步骤三，如果否，则退出；
其特点是：计算移动物体的位置信息，是对图像的颜色信息进行计算，具体为与所标定的物体颜色信息进行比较，识别出物体在屏幕中的位置信息，根据物体在屏幕中的位置信息，控制支撑设备的转动，使物体一直处于拍摄的中心。
所述步骤一的手机与支撑装置建立BLE连接，具体过程如下：
1)在手机上安装智能跟拍APP软件；
2)APP启动后，主动开启BLE搜索，扫描附近的设备，当发现与此APP配套的支撑装置时，主动发起连接，与支撑装置建立BLE连接，用于后续发送旋转控制指令。
所述步骤二的开启手机相机，展示拍摄图像，具体过程如下：
1)调用智能手机系统相机接口，获取相机拍摄的图像信息；
2)将图像信息绘制到手机界面上，实时展示相机画面。
所述步骤四的获取用户标定的区域并进行坐标转换，具体过程如下：
1)用户在屏幕上双击，标定被跟踪的物体；
2)取双击点四周一定区域内的图像做标定；
3)进行图像坐标的转换，从屏幕坐标转换到相机坐标。
所述步骤五的图像信息预处理，具体过程如下：
1)将相机取到的rgba格式的图像信息转化为hsv格式信息；
2)提取Hue分量信息；
3)计算标定的跟踪物体颜色直方图，将直方图归一化到0-255；
4)Hue分量根据ROI颜色直方图分布进行反投影。
所述步骤六的调用CamShift算法计算物体位置信息，具体过程如下：
1)CamShift算法接收步骤五的过程3)、过程4)的信息，包括图像预处理得到的ROI颜色直方图信息、以及相机图像Hue分量反投影得到的信息；
2)调用CamShift算法，返回物体在相机图像中的位置信息，同时将此次返回的跟踪对象位置信息，做为下次检索时ROI的位置信息。
所述步骤七的具体过程如下：
1)计算被跟踪物体坐标离屏幕中心位置的水平偏移量；
2)当偏移量超过整个屏幕水平方向的十五分之一时，发送指令控制支撑装置旋转；偏移量没有超过整个屏幕水平方向的十五分之一时，则停止设备转动；
3)控制旋转时需要根据需要根据相机的方向(前置，后置摄像头)，以及物体在屏幕中心点的水平偏左或是偏右，计算出旋转方向。
一种基于CamShift的移动客户端跟随拍摄方法的移动客户端跟随拍摄装置，其特点是：该装置包括用于架设移动终端且带动移动终端旋转的支撑装置、以及支撑装置上带有跟随拍摄APP软件的移动终端，所述的支撑装置和带有跟随拍摄APP软件的移动终端通过蓝牙通讯，所述跟随拍摄APP软件为基于CamShift算法的跟拍软件。
所述支撑装置包括底座、底座上方的转动支架；所述转动支架包括支架臂、手机夹、角度转轴，支架壁上方设有手机夹、支架壁下方设有角度转轴，转动支架通过角度转轴与底座相连接；所述底座上设有带动角度转轴转动电机驱动装置，该电机驱动装置接收跟随拍摄APP软件指令，从而带动角度转轴转动。
所述跟随拍摄APP软件包括初始化模块、用户标定模块、图像信息预处理模块、调用CamShift算法模块、偏离中心点计算模块、控制设备旋转模块；所述初始化模块实现设备连接以及开启手机相机，所述设备连接为移动终端和支持装置之间的蓝牙通讯连接；所述用户标定模块用于获取用户双击屏幕的某一个点，并取它四周一定区域内的图像做标定，并将该四周一定区域内的图像信息发送给图像信息预处理模块；所述图像信息预处理模块根据接收的手机屏幕上用户标定的矩形区域信息，计算出包括ROI颜色直方图参数、以及相机图像Hue分量反投影参数，并将这些参数传递给CamShift算法模块；所述调用CamShift算法模块接收参数，返回物体在相机图像中的位置信息，同时将此次返回的跟踪对象位置信息，做为下次检索时ROI的位置信息；所述偏离中心点计算模块根据CamShift算法模块反馈的物体在手机屏幕的位置信息，计算出该位置信息与手机屏幕中心点的偏差，并将偏差信息传递给控制设备旋转模块，所述偏差信息包括偏左、偏右、偏上、偏下；所述控制设备旋转模块根据接收偏差信息控制设备进行相应转动，使物体一直处于拍摄的中心。
本发明的优点效果
1、本发明采用元素替代的方法，取得了预料不到的效果：将现有技术“跟随人脸—附带拍摄到移动物体”，改进为“跟随人对目标物的标定，再提取目标物的颜色进行识别”的方法，解决了现有技术“因为识别主体不是移动物体，所以会经常出现移动物体的丢失或者不在拍摄的中心”的难题，还解决了现有技术“通过特定类型物体模型库去识别要跟踪的物体，但受限于识别物体的种类，一旦待跟随物体不在可识别的特定类型物体模型中时，则无法跟随拍摄”的难题。
2、本发明将初始化模块、用户标定模块、调用CamShift算法模块、图像信息与处理模块、偏离中心点计算模块、控制设备旋转模块进行有机组合、组合以后各个模块相互支持、相互依赖，组合以后的效果要比组合以前的效果优越得多。
3、本发明克服了传统的偏见，即过分强调自动化，试图用全部自动化代替人工、认为智能化一定比人工优越的偏见，而是采用了一条人机结合、互相取长补短的方法，实现了人和智能设备的最佳匹配。
附图说明
图1为本发明移动客户端和支撑设备蓝牙通讯示意图；
图2为本发明用于移动客户端的跟拍支撑设备示意图；
图3为本发明跟随拍摄APP软件功能模块示意图；
图4为本发明基于CamShift的移动客户端跟随拍摄方法流程图；
图中，1：支撑装置；2：带有跟随拍摄APP软件的移动终端；
1-1：底座；1-2：转动支架；1-2-1：支架壁；1-2-2：手机夹；1-2-3：角度转轴；1-2-4：锁钮；1-3：开机按键；1-3-1：蓝牙指示灯；1-3-2：拍摄指示灯；
具体实施方式
本发明设计原理
1、本发明应用环境：应用环境中大多数情况下是通过人的肢体和目标物进行互动、这就使得人不方便拿着手机直接拍摄；同时，应用环境还是一个能够由人去把控拍摄现场环境、使得拍摄现场环境如天气或光线适合选择物体的颜色进行物体识别。
2、本发明设计难点:设计难点在于场景中与人互动的宠物对象不是预先可知的、而是根据人的喜好随性而发的。由于目标未知，所以，应用场景中无论是根据颜色识别还是根据特征识别目标物，实现起来都很复杂，而且识别效果并不理想。
现有技术对于跟踪一个已知的目标，一般采取CamShift算法。camshift利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。例如，采用CamShift算法跟踪已知的汽车，轮船，足球等，由于目标颜色已知，跟踪起来就相对容易，但仅仅根据颜色识别目标物是不够的：由于背景中同一个颜色的物体并不是唯一的，所以，除了已知目标颜色这个条件以外，还需要知道目标的边界，而识别目标的边界是很复杂的，这就需要采取多种算法综合(而不是单一采用CamShift算法)才能真正把目标物的轮廓勾画出来。
现有技术对于跟踪一个未知的目标，一般是采用特定类型物体模型库识别方法，例如，根据每类宠物的特征建立特定类型物体模型库，根据模型库的模型对比当前目标是否与模型库某个模型的特征吻合，从而判定属于哪一类目标，确定目标后，再不断地捕捉场景中符合该特征的目标的位置，从而实现对目标的跟踪。这就要求特定类型物体模型库必须具备所有未知目标的特征，而这几乎是不可能的。如果目标物不在当前模型库内则需要不断补充特定类型物体模型库。
3、本发明解决疑难问题的两个关键点
本发明解决疑难问题的第一个关键点:人机结合、实现人和智能设备的最佳匹配。不论人类社会进步到何种程度，都不能完全取代人的作用。将人和智能设备进行巧妙组合、达到最佳匹配才是值得提倡的。本发明巧妙地利用了应用场景中人的主导作用：由人在手机屏幕上对互动目标物体进行双击，双击后，APP软件自动捕捉到该双击位置，自动建立以该双击位置为中心的矩形框、并获取矩形框内的目标颜色作为跟踪颜色。采用这个方法，轻而易举地实现了被跟踪目标的唯一性，而无需采用综合算法对目标物划分界线，即使场景内有相同颜色也会因为双击位置是唯一的而把其它颜色的非目标物自动排除在外；也无需建立许许多多的特征物模型库，因为是根据颜色识别目标而不是根据特征跟踪目标，而目标颜色的边界线能够根据标定点周围一定区域自动获取，从而保证目标的唯一性，手机APP软件只需要提取矩形框内的颜色作为被跟踪目标物的颜色即可。对于人的操作而言，只是在手机APP软件上多了一个双击目标物的操作步骤而已，这种一键标定的简单操作是用户完全可以接受的。
本发明解决疑难问题的第二个关键点：进行坐标转换。坐标转换的目的是控制支撑设备的转动、使移动物体一直处于拍摄的中心。而控制支撑设备的转动是根据移动物体在相机屏幕中的位置信息，因为CamShift算法返回的是移动物体在相机屏幕中的位置信息，因此必须进行手机屏幕坐标系到相机屏幕坐标系的转换。难点在于两个坐标系的分辨率不一致，一般相机的分辨率要小于手机的分辨率，这就使得手机屏幕上有一部分图像跑到相机屏幕外面去了，因为手机屏幕的图像是铺满整个手机屏幕的，为了可以全屏显示图像，而且保证图像不被拉伸，当用户在手机屏幕上标定了目标时，需要转化为相机图像的坐标。例如，手机分辨率长600，宽200，而相机分辨率长200、宽100，如果放大2倍，竖直方向400，图像铺不满，如果放大3倍，横的方向变为300，有一部分就跑到相机屏幕外面去了。本发明为了在相机屏幕上完整地显示手机上铺满的整个图像，跟随拍摄APP软件的偏离中心点计算模块计算目标物在相机屏幕上的位置时，就必须要记得加上相机屏幕外的尺寸。例如，用户双击手机屏幕上目标物的位置是在靠近手机屏幕左上角附近的某个点，这个点在相机屏幕上离坐标原点有额外的偏移。计算偏心时，偏离中心点计算模块要从相机屏幕外的那个点计算偏心，然后将偏离中心点计算结果发送给控制设备旋转模块，控制设备旋转模块再根据偏心位置调整支持装置的角度、进而调整手机的角度，调整的结果，使得偏离手机屏幕中心点的目标物移动到手机屏幕的中心位置。
基于以上发明原理，本发明设计了一种基于CamShift的移动客户端跟随拍摄方法。该方法基于一种移动客户端跟随拍摄装置如图1所示，该装置包括用于架设移动终端、且带动移动终端旋转的支撑装置1、以及支撑装置上带有跟随拍摄APP软件的移动终端2，所述的支撑装置1和带有跟随拍摄APP软件的移动终端2通过蓝牙通讯；所述跟随拍摄APP软件为基于CamShift算法的跟拍软件；
如图2所示，所述支撑装置包括底座1-1、底座上方的转动支架1-2；所述转动支架1-2包括支架臂1-2-1、手机夹1-2-2、角度转轴1-2-3，支架壁1-2-1上方设有手机夹1-2-2、支架壁1-2-1下方设有角度转轴1-2-3，转动支架1-2通过角度转轴1-2-3与底座1-1相连接；所述底座1-1上设有带动角度转轴转动电机驱动装置，该电机驱动装置接收跟随拍摄APP软件指令，从而带动角度转轴1-2-3转动；
如图3所示，所述跟随拍摄APP软件包括初始化模块、用户标定模块、图像信息预处理模块、调用CamShift算法模块、偏离中心点计算模块、控制设备旋转模块；所述初始化模块实现设备连接以及开启手机相机，所述设备连接为移动终端和支持装置之间的蓝牙通讯连接；所述用户标定模块用于获取用户双击屏幕的某一个点，并取它四周一定区域内的图像做标定，并将该四周一定区域内的图像信息发送给图像信息预处理模块；所述图像信息预处理模块根据接收的图像信息，计算出包括ROI直方图参数、以及相机图像Hue分量反投影参数，并将这些参数传递给CamShift算法模块；所述调用CamShift算法模块接收参数，返回物体在相机图像中的位置信息，同时将此次返回的跟踪对象位置信息，做为下次检索时ROI的位置信息；所述偏离中心点计算模块根据CamShift算法模块反馈的物体在手机屏幕的位置信息，计算出该位置信息与手机屏幕中心点的偏差，并将偏差信息传递给控制设备旋转模块，所述偏差信息包括偏左、偏右、偏上、偏下；所述控制设备旋转模块根据接收偏差信息控制设备进行相应转动，使物体一直处于拍摄的中心。
本发明一种基于CamShift的移动客户端跟随拍摄方法，包括以下步骤：
步骤一、手机与支撑装置建立BLE连接；
具体过程如下：
1)在手机上安装智能跟拍APP软件；
2)APP启动后，主动开启BLE搜索，扫描附近的设备，当发现与此APP配套的支撑装置时，主动发起连接，与支撑装置建立BLE连接，用于后续发送旋转控制指令。
步骤二、开启手机相机，展示拍摄图像；
具体过程如下：
1)调用智能手机系统相机接口，获取相机拍摄的图像信息；
2)将图像信息绘制到手机界面上，实时展示相机画面。
步骤三、开启检测线程，循坏处理图像信息；
步骤四、获取用户标定的区域并进行坐标转换；
具体过程如下：
1)用户在屏幕上双击，标定被跟踪的物体；
2)取双击点四周一定区域内的图像做标定；
3)进行图像坐标的转换，从屏幕坐标转换到相机坐标。
补充说明：
在步骤四中进行图像坐标转换的原因，是因为步骤五给CamShift算法传送的两组参数(包括计算标定的跟踪物体颜色直方图、将直方图归一化到0-255，以及Hue分量根据ROI颜色直方图分布进行反投影)，是根据相机屏幕中的图像信息得到的这两组参数，而由于相机屏幕分辨率和手机屏幕分辨率不同、当图像在手机屏幕中满屏时，手机屏幕中的一部分图像信息可能会跑到相机屏幕以外，进行坐标转换的目的就是在计算移动物体在相机屏幕中的位置信息时，把相机屏幕以外的尺寸也计算在内，否则，传递给CamShift算法的参数就不是准确的，那么，CamShift算法返回的移动物体位置信息也是不准确的。一旦移动物体位置信息不准确，就无法准确地控制支撑设备的转动，无法准确地使物体一直处于拍摄的中心。
步骤五、图像信息预处理；
具体过程如下：
1)将相机取到的rgba格式的图像信息转化为hsv格式信息；
2)提取Hue分量信息；
3)计算标定的跟踪物体颜色直方图，将直方图归一化到0-255；
4)Hue分量根据ROI颜色直方图分布进行反投影。
步骤六、调用CamShift算法计算被跟踪的移动物体的位置信息；
具体过程如下：
1)CamShift算法接收步骤五的过程3)、过程4)的信息，包括图像预处理得到的ROI颜色直方图信息、以及相机图像Hue分量反投影得到的信息；
2)调用CamShift算法，返回物体在相机图像中的位置信息，同时将此次返回的跟踪对象位置信息，做为下次检索时ROI的位置信息。
步骤七、判断移动物体是否偏离图像中心，如果偏离了，则控制支撑设备的转动，使被跟踪的移动物体一直处于拍摄的中心；如果没有偏离，则停止设备转动；具体过程如下：
1)计算被跟踪物体坐标离屏幕中心位置的水平偏移量；
2)当偏移量超过整个屏幕水平方向的十五分之一时，发送指令控制支撑装置旋转；偏移量没有超过整个屏幕水平方向的十五分之一时，则停止设备转动；
3)控制旋转时需要根据需要根据相机的方向(前置，后置摄像头)，以及物体在屏幕中心点的水平偏左或是偏右、或是偏上或是偏下，计算出旋转方向。
步骤八、判定用户是否继续标定目标，如果是，则返回步骤三，如果否，则退出。
总结：本发明计算移动物体的位置信息，是对图像的颜色信息进行计算，具体为与所标定的物体颜色信息进行比较，识别出物体在屏幕中的位置信息，根据物体在屏幕中的位置信息，控制支撑设备的转动，使物体一直处于拍摄的中心。
本发明并不限于上述具体实施方式，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。
Claims (10)
1.一种基于CamShift的移动客户端跟随拍摄方法，包括以下步骤：
步骤一、手机与支撑装置建立BLE连接；
步骤二、开启手机相机，展示拍摄图像；
步骤三、开启检测线程，循坏处理图像信息；
步骤四、获取用户标定的区域并进行坐标转换；
步骤五、图像信息预处理；
步骤六、调用CamShift算法计算被跟踪的移动物体的位置信息；
步骤七、判断移动物体是否偏离图像中心，如果偏离了，则控制支撑设备的转动，使被跟踪的移动物体一直处于拍摄的中心；如果没有偏离，则停止设备转动；
步骤八、判定用户是否继续标定目标，如果是，则返回步骤三，如果否，则退出；
其特征在于：计算移动物体的位置信息，是对图像的颜色信息进行计算，具体为与所标定的物体颜色信息进行比较，识别出物体在屏幕中的位置信息，根据物体在屏幕中的位置信息，控制支撑设备的转动，使物体一直处于拍摄的中心。
2.根据权利要求1所述一种基于CamShift的移动客户端跟随拍摄方法，其特征在于：所述步骤一的手机与支撑装置建立BLE连接，具体过程如下：
1)在手机上安装智能跟拍APP软件；
2)APP启动后，主动开启BLE搜索，扫描附近的设备，当发现与此APP配套的支撑装置时，主动发起连接，与支撑装置建立BLE连接，用于后续发送旋转控制指令。
3.根据权利要求1所述一种基于CamShift的移动客户端跟随拍摄方法，其特征在于：所述步骤二的开启手机相机，展示拍摄图像，具体过程如下：
1)调用智能手机系统相机接口，获取相机拍摄的图像信息；
2)将图像信息绘制到手机界面上，实时展示相机画面。
4.根据权利要求1所述一种基于CamShift的移动客户端跟随拍摄方法，其特征在于：所述步骤四的获取用户标定的区域并进行坐标转换，具体过程如下：
1)用户在屏幕上双击，标定被跟踪的物体；
2)取双击点四周一定区域内的图像做标定；
3)进行图像坐标的转换，从屏幕坐标转换到相机坐标。
5.根据权利要求1所述一种基于CamShift的移动客户端跟随拍摄方法，其特征在于：所述步骤五的图像信息预处理，具体过程如下：
1)将相机取到的rgba格式的图像信息转化为hsv格式信息；
2)提取Hue分量信息；
3)计算标定的跟踪物体颜色直方图，将直方图归一化到0-255；
4)Hue分量根据ROI颜色直方图分布进行反投影。
6.根据权利要求1所述一种基于CamShift的移动客户端跟随拍摄方法，其特征在于：所述步骤六的调用CamShift算法计算物体位置信息，具体过程如下：
1)CamShift算法接收步骤五的过程3)、过程4)的信息，包括图像预处理得到的ROI颜色直方图信息、以及相机图像Hue分量反投影得到的信息；
2)调用CamShift算法，返回物体在相机图像中的位置信息，同时将此次返回的跟踪对象位置信息，做为下次检索时ROI的位置信息。
7.根据权利要求1所述一种基于CamShift的移动客户端跟随拍摄方法，其特征在于：所述步骤七的具体过程如下：
1)计算被跟踪物体坐标离屏幕中心位置的水平偏移量；
2)当偏移量超过整个屏幕水平方向的十五分之一时，发送指令控制支撑装置旋转；当偏移量没有超过整个屏幕水平方向的十五分之一时，则停止设备转动；
3)控制旋转时需要根据需要根据相机的方向(前置，后置摄像头)，以及物体在屏幕中心点的水平偏左或是偏右，计算出旋转方向。
8.一种用于权利要求1-7任意一项一种基于CamShift的移动客户端跟随拍摄方法的移动客户端跟随拍摄装置，其特征在于，该装置包括用于架设移动终端且带动移动终端旋转的支撑装置、以及支撑装置上带有跟随拍摄APP软件的移动终端，所述的支撑装置和带有跟随拍摄APP软件的移动终端通过蓝牙通讯，所述跟随拍摄APP软件为基于CamShift算法的跟拍软件。
9.根据权利要求8所述的移动客户端跟随拍摄装置，其特征在于：所述支撑装置包括底座、底座上方的转动支架；所述转动支架包括支架臂、手机夹、角度转轴，支架壁上方设有手机夹、支架壁下方设有角度转轴，转动支架通过角度转轴与底座相连接；所述底座上设有带动角度转轴转动电机驱动装置，该电机驱动装置接收跟随拍摄APP软件指令，从而带动角度转轴转动。
10.根据权利要求8所述的移动客户端跟随拍摄装置，其特征在于：所述跟随拍摄APP软件包括初始化模块、用户标定模块、图像信息预处理模块、调用CamShift算法模块、偏离中心点计算模块、控制设备旋转模块；所述初始化模块实现设备连接以及开启手机相机，所述设备连接为移动终端和支持装置之间的蓝牙通讯连接；所述用户标定模块用于获取用户双击屏幕的某一个点，并取它四周一定区域内的图像做标定，并将该四周一定区域内的图像信息发送给图像信息预处理模块；所述图像信息预处理模块根据接收的手机屏幕上用户标定的矩形区域信息，计算出包括ROI颜色直方图参数、以及相机图像Hue分量反投影参数，并将这些参数传递给CamShift算法模块；所述调用CamShift算法模块接收参数，返回物体在相机图像中的位置信息，同时将此次返回的跟踪对象位置信息，做为下次检索时ROI的位置信息；所述偏离中心点计算模块根据CamShift算法模块反馈的物体在手机屏幕的位置信息，计算出该位置信息与手机屏幕中心点的偏差，并将偏差信息传递给控制设备旋转模块，所述偏差信息包括偏左、偏右、偏上、偏下；所述控制设备旋转模块根据接收偏差信息控制设备进行相应转动，使物体一直处于拍摄的中心。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110374490.1A CN113301189A (zh) | 2021-04-07 | 2021-04-07 | 基于CamShift的移动客户端跟随拍摄方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110374490.1A CN113301189A (zh) | 2021-04-07 | 2021-04-07 | 基于CamShift的移动客户端跟随拍摄方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113301189A true CN113301189A (zh) | 2021-08-24 |
Family
ID=77319337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110374490.1A Pending CN113301189A (zh) | 2021-04-07 | 2021-04-07 | 基于CamShift的移动客户端跟随拍摄方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113301189A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101179710A (zh) * | 2007-11-30 | 2008-05-14 | 浙江工业大学 | 铁路道口智能视频监控装置 |
| CN109477607A (zh) * | 2016-06-06 | 2019-03-15 | 深圳市大疆灵眸科技有限公司 | 用于跟踪的图像处理 |
| CN109477715A (zh) * | 2016-06-06 | 2019-03-15 | 深圳市大疆灵眸科技有限公司 | 载体辅助跟踪 |
| CN109816692A (zh) * | 2019-01-11 | 2019-05-28 | 南京理工大学 | 一种基于Camshift算法的运动目标跟踪方法 |
| CN111314527A (zh) * | 2019-09-20 | 2020-06-19 | 深圳市启明创新科技开发有限公司 | 一种智能跟随云台及方法 |
-
2021
- 2021-04-07 CN CN202110374490.1A patent/CN113301189A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101179710A (zh) * | 2007-11-30 | 2008-05-14 | 浙江工业大学 | 铁路道口智能视频监控装置 |
| CN109477607A (zh) * | 2016-06-06 | 2019-03-15 | 深圳市大疆灵眸科技有限公司 | 用于跟踪的图像处理 |
| CN109477715A (zh) * | 2016-06-06 | 2019-03-15 | 深圳市大疆灵眸科技有限公司 | 载体辅助跟踪 |
| CN109816692A (zh) * | 2019-01-11 | 2019-05-28 | 南京理工大学 | 一种基于Camshift算法的运动目标跟踪方法 |
| CN111314527A (zh) * | 2019-09-20 | 2020-06-19 | 深圳市启明创新科技开发有限公司 | 一种智能跟随云台及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 伍明: "未知环境下移动机器人目标跟踪理论与方法", 西北工业大学, pages: 68 - 72 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10410089B2 (en) | Training assistance using synthetic images | |
| US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
| US20170316582A1 (en) | Robust Head Pose Estimation with a Depth Camera | |
| CN109982054B (zh) | 一种基于定位追踪的投影方法、装置、投影仪及投影系统 | |
| CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
| US20220114803A1 (en) | Model obtaining method and apparatus, and object predetermining method and apparatus | |
| US11012616B2 (en) | Image processing system for augmented reality and method thereof | |
| CN114170302A (zh) | 相机外参标定方法、装置、电子设备及存储介质 | |
| CN108717704B (zh) | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 | |
| CN103679788B (zh) | 一种移动终端中3d图像的生成方法和装置 | |
| CN108124102B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| US20230209204A1 (en) | Display apparatus and camera tracking method | |
| CN110520904B (zh) | 显示控制装置、显示控制方法及程序 | |
| CN114640833B (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
| CN108647633A (zh) | 识别跟踪方法、识别跟踪装置和机器人 | |
| CN113329172A (zh) | 拍摄方法、装置及电子设备 | |
| Fahn et al. | A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot | |
| CN112887601B (zh) | 拍摄方法、装置及电子设备 | |
| CN113301189A (zh) | 基于CamShift的移动客户端跟随拍摄方法和装置 | |
| CN115174878B (zh) | 投影画面校正方法、装置和存储介质 | |
| CN116597488A (zh) | 一种基于Kinect数据库的人脸识别方法 | |
| US20230048952A1 (en) | Image registration method and electronic device | |
| CN113688680B (zh) | 一种智能识别与追踪系统 | |
| CN111179341A (zh) | 一种增强现实设备与移动机器人的配准方法 | |
| TWI330099B (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210824 |