CN114189660A - 一种基于全向摄像头的监控方法及其系统 - Google Patents

一种基于全向摄像头的监控方法及其系统 Download PDF

Info

Publication number
CN114189660A
CN114189660A CN202111604974.7A CN202111604974A CN114189660A CN 114189660 A CN114189660 A CN 114189660A CN 202111604974 A CN202111604974 A CN 202111604974A CN 114189660 A CN114189660 A CN 114189660A
Authority
CN
China
Prior art keywords
image information
video image
information
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111604974.7A
Other languages
English (en)
Inventor
张世渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waite Technology Shenzhen Co ltd
Original Assignee
Waite Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waite Technology Shenzhen Co ltd filed Critical Waite Technology Shenzhen Co ltd
Priority to CN202111604974.7A priority Critical patent/CN114189660A/zh
Priority to PCT/CN2022/076339 priority patent/WO2023115685A1/zh
Publication of CN114189660A publication Critical patent/CN114189660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本申请涉及计算机技术领域，尤其涉及一种基于全向摄像头的监控方法及其系统；其方法包括：捕获摄像头组中所有摄像头所获取的视频图像信息；将所有视频图像信息分别存储于共享缓存区中；接收视频客户端发送的指令信息；基于指令信息从共享缓存区中提取视频图像信息并进行处理，得到目标视频图像信息；发送目标视频图像信息至视频客户端。视频处理器根据每个视频客户端的观看需求，对摄像头组获取的视频图像信息进行裁剪、合成以及数字缩放等操作，模拟一个虚拟摄像头，输出视频客户端需要的任意朝向和缩放比例的目标视频图像信息。

Description

一种基于全向摄像头的监控方法及其系统
技术领域
本申请涉及视频通信技术领域，尤其涉及一种基于全向摄像头的监控方法及其系统。
背景技术
摄像头（CAMERA或WEBCAM）是一种视频输入设备，属闭路电视的一种，被广泛的运用于视频会议，远程医疗及实时监控等方面。
相关技术中，摄像头一般具有视频摄影、传播和静态图像捕捉等基本功能，是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成计算机所能识别的数字信号，然后借由并行端口、USB连接，输入到计算机后由软件再进行图像还原，从而形成画面。
针对上述相关技术，发明人认为，相关技术中的摄像头难以根据视频客户端的需求控制摄像头快速转向感兴趣的目标。
发明内容
为了输出根据视频客户端的需要选取目标视频，本申请提供一种基于全向摄像头的监控方法及其系统。
一种基于全向摄像头的监控方法，包括：
捕获摄像头组中所有摄像头所获取的视频图像信息；
将所有视频图像信息分别存储于共享缓存区中；
接收视频客户端发送的指令信息；
基于所述指令信息从所述共享缓存区中提取所述视频图像信息并进行处理，得到目标视频图像信息；
发送所述目标视频图像信息至所述视频客户端。
通过采用上述技术方案，摄像头组实现对环境全方位覆盖，视频处理器根据每个视频客户端的观看需求，对摄像头组获取的视频图像信息进行裁剪、合成以及数字缩放等操作处理，模拟一个虚拟摄像头，输出视频客户端需要的任意朝向和缩放比例的目标视频图像信息。
可选的，所述指令信息包括虚拟范围信息；
所述基于所述指令信息从所述共享缓存区中提取所述视频图像信息并进行处理，得到目标视频图像信息包括：
基于所述虚拟范围信息从所述共享缓存区中提取输入像素；
处理所述输入像素，处理之后生成输出视频图像信息；
对所述输出视频图像信息进行压缩编码，得到所述目标视频图像信息。
通过采用上述技术方案，根据视频客户端的需求，获取虚拟范围信息，再基于虚拟范围信息从共享缓存区提取输入像素，对输入像素进行处理，从而得到视频客户端需要的任意朝向和缩放比例的目标视频图像信息。
可选的，所述基于所述虚拟范围信息从所述共享缓存区中提取输入像素的具体步骤包括：
获取所述摄像头组中每个摄像头预设的拍摄范围信息；
将所述拍摄范围信息与所述虚拟范围信息进行比对；
判断所述虚拟范围信息所示范围是否完全落入任一所述拍摄范围信息所示范围中；
若是，从第一目标摄像头所对应的共享缓存区中提取输入像素，所述第一目标摄像头为所述拍摄范围信息所示范围完全包含所述虚拟范围信息所示范围的摄像头；
若不是，从所有第二目标摄像头所对应的共享缓存区中提取视频图像信息，所述第二目标摄像头为所述拍摄范围信息所示范围包含所述虚拟范围信息所示范围的摄像头；
裁剪所有第二目标摄像头视频图像信息中的重叠视频图像信息；
将裁剪剩下的视频图像信息拼合，形成新视频图像信息；
基于所述虚拟范围信息从所述新视频图像信息中提取输入像素。
通过采用上述技术方案，虚拟范围信息所示范围完全落入任一拍摄范围信息所示范围中，则可以直接从该摄像头所对应的共享缓存区中提取输入像素，无需对视频图像信息进行裁剪、合成等操作，有助于节省操作时间；虚拟像素信息需要多个摄像头的预设的拍摄范围信息才能完全覆盖，则需要对视频图像信息进行裁剪以及合成等操作，从而使得生成的新视频图像信息完整、连续。
可选的，所述裁剪所有第二目标摄像头视频图像信息中的重叠视频图像信息的具体步骤包括：
识别相邻两个第二目标摄像头的输入视频图像信息中的基准物体，所述基准物体相对于相邻两个第二目标摄像头观测偏角相同且最小；
基于所述基准物体计算两个输入视频图像信息的重叠范围；
根据所述重叠范围分别将两个输入视频图像信息进行裁剪。
通过采用上述技术方案，精准的对相邻两摄像头获取的重叠视频图像信息进行裁剪以及合成等操作，有助于防止生成的新视频图像信息缺失或重复。
可选的，所述指令信息包括输出分辨率，
所述处理所述输入像素，处理之后生成输出视频图像信息的具体步骤包括：
获取所述摄像头的预设分辨率；
计算所述预设分辨率与所述输出分辨率的比值；
根据所述比值从所有输入像素中选取多个基准像素；
基于所述基准像素的位置和所述比值得到输出像素的位置；
基于比值选取所述基准像素周围的周围像素；
获取所述基准像素和所述基准像素对应的周围像素的基础像素信息值，并根据所有基础像素信息值作为所述输出像素的基础像素信息值；
基于所有输出像素生成输出视频图像信息。
通过采用上述技术方案，通过对输入像素进行处理，从而实现对视频图像信息数字缩放，进而输出视频客户端需要的任意缩放比例的目标视频图像信息。
可选的，所述指令信息包括屏蔽范围信息；
所述处理所述输入像素，处理之后生成输出视频图像信息的具体步骤包括：
基于所述输入像素所对应摄像头的拍摄范围信息，获取所述屏蔽范围信息的起始角度和结束角度；
获取所述输入像素所对应摄像头观察像素点的视线角度；
分别将各个视线角度与所述起始角度以及所述结束角度进行比对；
判断所述视线角度是否位于所述起始角度以及所述结束角度之间；
若所述视线角度位于所述起始角度以及所述结束角度之间，则将对应的输入像素的像素值设置为预设的屏蔽像素值；
若所述视线角度位于所述起始角度以及所述结束角度之外，则不调整对应的输入像素的像素值；
基于所述像素值调整后的输入像素生成输出视频图像信息。
通过采用上述技术方案，屏蔽某些隐私区域，避免这个区域的物体影像出现在输出视频中，有助于得到视频客户端需要的目标视频图像信息。
可选的，所述处理所述输入像素，处理之后生成输出视频图像信息的具体步骤包括：
获取任意相邻两个所述摄像头的实际距离；
获取所述任意相邻两个所述摄像头观察所有输入像素所对应物体的第一视线角度与第二视线角度；
基于所述实际距离、所述第一视线角度与所述第二视线角度，分别得到所有输入像素所对应的物体到所述摄像头组的相对距离；
判断所述相对距离是否小于预设的阈值；
若所述相对距离大于等于所述阈值，则将对应的输入像素的像素值设置为屏蔽像素值；
若所述相对距离小于所述阈值，则不调整对应的输入像素的像素值；
基于所述像素值调整后的输入像素生成输出视频图像信息。
通过采用上述技术方案，屏蔽某些隐私区域，避免这个区域的物体影像出现在输出视频中，有助于得到视频客户端需要的目标视频图像信息。
一种基于全向摄像头的监控系统，包括：
摄像装置和视频处理装置，所述摄像装置与所述视频处理装置连接，所述视频处理装置连接有视频客户端装置；
所述摄像装置用于获取视频图像信息，并将所述视频图像信息传送到所述视频处理装置；
所述视频处理装置用于接收所述视频图像信息以及所述视频客户端装置发送的指令信息，并根据所述指令信息对所述视频图像信息进行处理后生成目标视频图像信息，向所述视频客户端装置输出所述目标视频图像信息；
所述视频客户端装置用于向所述视频处理装置发送所述指令信息，并接收所述目标视频图像信息。
通过采用上述技术方案，根据视频客户端的需求，对视频图像信息进行裁剪、合成以及数字缩放操作处理后，向视频客户端传送任意朝向和缩放比例的目标视频图像信息。
可选的，还包括集成的音频装置、供电装置以及可控制移动装置。
通过采用上述技术方案，接收远端用户发送来的视频流并显示，并将音频流发送给远程用户，成为功能更强的全向视频会议终端。
综上所述，本申请包括以下至少一种有益技术效果：
摄像头组实现对环境全方位覆盖，视频处理器根据每个视频客户端的观看需求，对摄像头组获取的视频图像信息进行裁剪、合成以及数字缩放等操作，模拟一个虚拟摄像头，输出视频客户端需要的任意朝向和缩放比例的目标视频图像信息。
附图说明
图1是本申请实施例一种基于全向摄像头的监控方法的主要流程图；
图2是本申请实施例一种基于全向摄像头的监控方法中视频图像信息处理的整体示意图；
图3是本申请实施例一种基于全向摄像头的监控方法中相邻摄像头图像裁剪和拼合示意图；
图4是本申请实施例一种基于全向摄像头的监控方法中像素屏蔽示意图1；
图5是本申请实施例一种基于全向摄像头的监控方法中像素屏蔽示意图2；
图6是本申请实施例一种基于全向摄像头的监控方法中像素距离计算示意图；
图7是本申请实施例一种基于全向摄像头的监控系统中远程代理机器人的整体结构图。
图8是本申请实施例一种基于全向摄像头的监控系统的整体结构图。
具体实施方式
本申请实施例公开一种基于全向摄像头的监控方法。
参照图1和图2，一种基于全向摄像头的监控方法，包括步骤S1000~S5000：
步骤S1000：捕获摄像头组中所有摄像头所获取的视频图像信息。
步骤S2000：将所有视频图像信息分别存储于共享缓存区中。
其中，视频图像信息是以其像素矩阵的形式存储于共享缓存区中，每个像素包括像素的亮度和颜色信息，且每个面向视频客户端的视频处理器都可以访问该共享缓存区。
步骤S3000：接收视频客户端发送的指令信息。
视频处理器接收来自视频客户端的指令信息，指令信息包括虚拟范围信息、屏蔽范围信息和输出分辨率等；其中，虚拟范围信息为虚拟摄像头像素覆盖范围信息，屏蔽范围信息为屏蔽区域的像素范围信息，输出分辨率为输出图像信息的输出分辨率。
步骤S4000：基于指令信息从共享缓存区中提取视频图像信息并进行处理，得到目标视频图像信息。
对视频图像信息进行处理包括对视频图像信息进行画面拉拽移动、旋转、裁剪、拼合、数字缩放以及屏蔽等操作。
步骤S5000：发送目标视频图像信息至视频客户端。
其中，目标视频图像信息为视频客户端接收到的最终视频数据，即视频客户端需要的任意朝向角度和缩放比例的视频数据。
步骤S4000的具体步骤包括步骤S4100~S4300：
参照图3，步骤S4100：基于虚拟范围信息从对应共享缓存区中提取输入像素。
其中，输入像素为视频图像信息的像素。
参照2和3，步骤S4200：基于虚拟范围信息从共享缓存区中提取输入像素。
本实施例中，对视频图像信息的处理是通过对其像素处理实现的，对输入像素的处理包括对其裁剪、拼合以及数字缩放等操作。
步骤S4300：对输出视频图像信息进行压缩编码，得到目标视频图像信息。
对视频图像信息进行压缩编码后，生成视频客户端接受的视频压缩编码格式，如mjpg或者H.264等；具体的，在本实施例未记载的其他实施例中，也可以是通过外接控制器对视频图像信息进行压缩编码。
步骤S4100的具体步骤包括步骤S4110~S4140：
步骤S4110：获取摄像头组中每个摄像头预设的拍摄范围信息。
本实施例中，摄像头组中的各摄像头均为固定设置，因此其预设的拍摄范围信息也是固定的。
步骤S4120：将拍摄范围信息与虚拟范围信息进行比对。
即比对拍摄范围信息与虚拟范围信息的共同区域。
步骤S4130：判断虚拟范围信息所示范围是否完全落入任一拍摄范围信息所示范围中。
其中，虚虚拟范围信息所示范围完全落入任一摄像头预设的拍摄范围信息所示范围中，即虚拟范围信息仅仅出现于单个摄像头预设的像素范围内；虚拟范围信息未完全落入任一摄像头预设的拍摄范围信息中，即虚拟范围信息需要多个摄像头预设的拍摄范围信息才能完全覆盖。
步骤S4140：若是，从第一目标摄像头所对应的共享缓存区中提取输入像素，第一目标摄像头为拍摄范围信息所示范围完全包含虚拟范围信息所示范围的摄像头。
若不是，从所有第二目标摄像头所对应的共享缓存区中提取视频图像信息，第二目标摄像头为拍摄范围信息所示范围包含虚拟范围信息所示范围的摄像头；裁剪所有第二目标摄像头视频图像信息中的重叠视频图像信息；将裁剪剩下的视频图像信息拼合，形成新视频图像信息；基于虚拟范围信息从新视频图像信息中提取输入像素。
具体的，本实施例中所有视频图像信息均存储于一个共享缓存区中，第一目标摄像头所对应的共享缓存区指的是：存储第一目标摄像头所获取的视频图像信息的区域；第二目标摄像头所对应的共享缓存区指的是：存储第二目标摄像头所获取的视频图像信息的区域。
其中，裁剪所有第二目标摄像头视频图像信息中的重叠视频图像信息的具体步骤包括步骤S4141-S4143：
步骤S4141：识别相邻两个第二目标摄像头的输入视频图像信息中的基准物体，基准物体相对于相邻两个第二目标摄像头观测偏角相同且最小。
即α和β相等。
步骤S4142：基于基准物体计算两个输入视频图像信息的重叠范围。
步骤S4143：根据重叠范围分别将两个输入视频图像信息进行裁剪。
其中，本实施例中，摄像头组支持水平360°和垂直180°的视频覆盖，以水平方向的视频合成为例，在水平方向，使用6个120°视角的摄像头，分为奇数编号组和偶数编号组，两组摄像头形成360°交叉覆盖。例如，当虚拟范围信息正好完全落在3号摄像头预设的拍摄范围信息中，且仅与3号摄像头预设的拍摄范围信息有交集，则视频处理器可以直接在3号摄像头所对应的共享缓存区中提取输入像素。
又例如，当虚拟范围信息同时需要3号与4号摄像头预设的拍摄范围信息才能完全覆盖，则将3号和4号摄像头获取的重叠视频图像信息进行裁剪，假设两视频图像信息的重叠像素数量为L，则将两个视频图像信息的重叠部分各自裁剪掉互补的二分之一L个像素；再将裁剪剩余的视频图像信息拼合形成新的视频图像信息，然后再从共享缓存区中提取新视频图像信息的输入像素。
这种方法有助于减少图像内容损失，但远处的物体在剪切线附近会出现重复现象。为解决这个问题，可以增加用户指定聚焦物体控制。然后在步骤S4141中，确保用户指定物体完全重叠，并按这个重叠程度进行剪裁和拼合。这样做拼合线上比聚焦物体更近的物体图像会出现部分缺失，但用户聚焦物体更完整而且连续。
步骤S4200的具体步骤包括步骤S4210a~S4270a：
步骤S4210a：获取摄像头的预设分辨率。
本实施例中，摄像头组中的所有摄像头型号均一致。
步骤S4220a：计算预设分辨率与输出分辨率的比值。
输出分辨率即输出图像信息的分辨率，指令信息中包括输出分辨率，所以可以直接获取到输出分辨率，本实施例中比值为n。
步骤S4230a：根据比值从所有输入像素中选取多个基准像素。
具体的，基准像素的个数取决于输入像素大小以及比值n的大小确定。
步骤S4240a：基于基准像素的位置和比值得到输出像素的位置。
对于位置为（x，y）的基准像素，比值为n，则其输出像素位置为（n*x，n*y）。
步骤S4250a：基于比值选取基准像素周围的周围像素。
选取基准像素周围n2-1个周围像素。
步骤S4260a：获取基准像素和基准像素对应的周围像素的基础像素信息值，并根据所有基础像素信息值作为输出像素的基础像素信息值。
基础像素信息值包括像素的颜色和亮度。
步骤S4270a：基于所有输出像素生成输出视频图像信息。
参照图4，步骤4S4200的具体步骤包括步骤S4210b~S4270b。
步骤S4210b：基于输入像素所对应摄像头的拍摄范围信息，获取屏蔽范围信息的起始角度和结束角度。
步骤S4220b：获取输入像素所对应摄像头观察像素点的视线角度。
具体的，像素点即像素所在位置。
本实施例中，以摄像头中心点为原点，建立平面坐标系，以摄像头中心点向屏蔽区域作切线，与横坐标之间形成的角度差最大的两个角，即为屏蔽范围信息的起始角与屏蔽像素的结束角；其余横坐标之间的角度，即为屏蔽范围信息的起始角度s与屏蔽像素的结束角度e；以摄像头中心点向像素点作连线，与横坐标形成的角度即摄像头观察像素点的视线角度f。
步骤S4240b：分别将各个视线角度与起始角度以及结束角度进行比对。
将a与s以及e进行比较。
步骤S4250b：判断视线角度是否位于起始角度以及结束角度之间。
步骤S4260b：若视线角度位于起始角度以及结束角度之间，则将对应的输入像素的像素值设置为预设的屏蔽像素值；若视线角度位于起始角度以及结束角度之外，则不调整对应的输入像素的像素值。
本实施例中，视线角度等于起始角度或者视线角度等于结束角度，也属于起始角度以及结束角度之间，即当s<=f<=e时，将像素点的像素值设置为屏蔽像素值，也即是屏蔽掉所有起始角度以及结束角度之间的像素点。
步骤S4270b：基于像素值调整后的输入像素生成输出视频图像信息。
参照图5和图6，步骤S4200的具体步骤包括步骤S4210c~S4260c：
步骤S4210c：获取任意相邻两个摄像头的实际距离。
本实施例中，至少包括两个摄像头，实际距离即两个摄像头中心点到中心点之间的距离。
步骤S4220c：获取所述任意相邻两个摄像头观察所有输入像素所对应物体的第一视线角度与第二视线角度。
本实施例中，第一视线角度与第二视线角度的大小与视频图像信息中虚拟摄像头观察所有输入像素的第一视线角度与第二视线角度的角度相等，因此可以通过该输入像素到输出视频图像信息边缘的距离计算得到。
步骤S4240c：基于所述实际距离、所述第一视线角度与所述第二视线角度，分别得到所有输入像素所对应的物体到所述摄像头组的相对距离。
相对距离满足公式：
𝐷 = 𝑡𝑎𝑛(𝑎) * 𝑡𝑎𝑛(𝑏)/(𝑡𝑎𝑛(𝑎) + 𝑡𝑎𝑛(𝑏)) * d；
其中，a为第一视线角度，b为第二视线角度，d为任意两个摄像头的实际距离。具体的，本实施例中由于摄像头组中相邻两个摄像头甚至所有摄像头的焦点距离都不大，因此用输入像素所对应的物体到摄像图组的整体中心点的距离替换相对距离。
步骤S4240c：判断相对距离是否小于预设的阈值。
本实施例中，预设的阈值S大小等于从阈值方程上的点到摄像头的距离，根据视频客户端发送的指令信息，确定方程的范围，模拟虚拟隔板。
以二元一次方程y1=kx1+b为例，以摄像头中心点为原点设置直角坐标系，连接像素点与原点，构成方程y2=kx2，计算出两方程交点坐标，再根据交点坐标，计算出沿摄像头观察像素点视线的阈值。
例如，x1=-1（-2≤y1≤-1），y2=x2，那么阈值为S=
Figure DEST_PATH_IMAGE001
。
步骤S4250c：若相对距离大于等于阈值，则将对应的输出像素的像素值设置为屏蔽像素值；若相对距离小于阈值，则不调整对应的输出像素的像素值。
若D≥S，即处于虚拟隔板上或后面的像素点，将像素点的像素值设置为屏蔽像素值。
步骤S4260c：基于像素值调整后的输出像素生成输出视频图像信息。
具体的, 本实施例未记载的其他实施例中，屏蔽实现上也可以在输出图像信息上进行，还可以把物体还原成线面再作屏蔽计算。
本申请实施例一种基于全向摄像头的监控方法的实施原理为：视频处理器捕获摄像头组中每个摄像头获取的视频图像信息并存储于共享缓存区中，基于视频客户端发送的指令信息对视频图像信息进行裁剪、拼合、数字缩放以及屏蔽等处理，经过编码压缩，输出视频客户端需要的任意朝向和缩放比例的目标视频图像信息。
基于一种基于全向摄像头的监控方法，本申请还公开了一种基于全向摄像头的监控系统。
参照图2，一种基于全向摄像头的监控系统，包括：
摄像装置和视频处理装置，摄像装置与视频处理装置连接，视频处理装置连接有视频客户端装置；
摄像装置用于获取视频图像信息，并将视频图像信息传送到视频处理装置；
视频处理装置用于接收视频图像信息以及视频客户端装置发送的指令信息，并根据指令信息对视频图像信息进行处理后生成目标视频图像信息，向视频客户端装置输出目标视频图像信息；
视频客户端装置用于向视频处理装置发送指令信息，并接收目标视频图像信息。
本实施例中，摄像装置包括摄像头组，视频处理装置包括视频处理器，视频客户端装置包括视频客户端；摄像装置与视频处理装置之间可以电连接或通信连接，视频处理装置与视频客户端装置之间可以采用电连接或通信连接。
本实施例中，对视频图像信息进行处理的操作内容包括对视频图像信息进行裁剪、拼合、数字缩放以及屏蔽等。
视频处理器包括视频图像捕获模块、图像合成模块以及视频压缩编码模块。
视频图像捕获模块捕获高清晰度视频图像信息，图像合成模块合成输出视频图像信息，视频压缩编码模块对视频图像信息进行压缩编码，然后生成视频客户端接受的视频压缩编码格式，如mjpg或者H.264等。
具体的，本实施例中视频客户端有多个，且均可根据各自需求发送不同指令信息，从而获取内容不同的目标视频图像信息。
参照图7，一种基于全向摄像头的监控系统还包括集成的音频装置、供电装置以及可控制移动装置，从而构成远程代理机器人。
在产品演示、测试，或其他现场环境中，如果工作人员不能现场参加，可通过远程代理机器人参加。
参照图8，音频装置包括麦克风、扬声器、显示屏、无线网络接口（WIFI或移动数据网络）；供电装置包括电池以及配套的充电和供电电路模块；可控制移动装置包括可控移动基座、轮子、驱动马达、升降支柱马达等，采用一个主控CPU以及配套驱动电路控制全向摄像头、音频装置以及可控制移动装置。
主控CPU运行的软件接收用户通过网络发送过来的指令信息，根据指令信息控制驱动马达，驱动远程代理运动。该软件接收远端用户发送来的视频流，并显示到屏幕上。该软件还把麦克和摄像头组的声音和视频图像信息发送给远程用户。
基于一种基于全向摄像头的监控方法，本申请还公开了一种基于全向摄像头的监控系统。
本申请实施例一种基于全向摄像头的监控系统的实施原理为：根据视频客户端的需求，对视频图像信息进行裁剪、合成、数字缩放以及屏蔽等操作后，向视频客户端传送任意朝向和缩放比例的目标视频图像信息。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (9)

1.一种基于全向摄像头的监控方法，其特征在于，包括：
捕获摄像头组中所有摄像头所获取的视频图像信息；
将所有视频图像信息分别存储于共享缓存区中；
接收视频客户端发送的指令信息；
基于所述指令信息从所述共享缓存区中提取所述视频图像信息并进行处理，得到目标视频图像信息；
发送所述目标视频图像信息至所述视频客户端。
2.根据权利要求1所述的一种基于全向摄像头的监控方法，其特征在于，所述指令信息包括虚拟范围信息；
所述基于所述指令信息从所述共享缓存区中提取所述视频图像信息并进行处理，得到目标视频图像信息包括：
基于所述虚拟范围信息从所述共享缓存区中提取输入像素；
处理所述输入像素，处理之后生成输出视频图像信息；
对所述输出视频图像信息进行压缩编码，得到所述目标视频图像信息。
3.根据权利要求2所述的一种基于全向摄像头的监控方法，其特征在于，所述基于所述虚拟范围信息从所述共享缓存区中提取输入像素的具体步骤包括：
获取所述摄像头组中每个摄像头预设的拍摄范围信息；
将所述拍摄范围信息与所述虚拟范围信息进行比对；
判断所述虚拟范围信息所示范围是否完全落入任一所述拍摄范围信息所示范围中；
若是，从第一目标摄像头所对应的共享缓存区中提取输入像素，所述第一目标摄像头为所述拍摄范围信息所示范围完全包含所述虚拟范围信息所示范围的摄像头；
若不是，从所有第二目标摄像头所对应的共享缓存区中提取视频图像信息，所述第二目标摄像头为所述拍摄范围信息所示范围包含所述虚拟范围信息所示范围的摄像头；裁剪所有第二目标摄像头视频图像信息中的重叠视频图像信息；将裁剪剩下的视频图像信息拼合，形成新视频图像信息；基于所述虚拟范围信息从所述新视频图像信息中提取输入像素。
4.根据权利要求3所述的一种基于全向摄像头的监控方法，其特征在于，所述裁剪所有第二目标摄像头视频图像信息中的重叠视频图像信息的具体步骤包括：
识别相邻两个第二目标摄像头的输入视频图像信息中的基准物体，所述基准物体相对于相邻两个第二目标摄像头观测偏角相同且最小；
基于所述基准物体计算两个输入视频图像信息的重叠范围；
根据所述重叠范围分别将两个输入视频图像信息进行裁剪。
5.根据权利要求2所述的一种基于全向摄像头的监控方法，其特征在于，所述指令信息包括输出分辨率，
所述处理所述输入像素，处理之后生成输出视频图像信息的具体步骤包括：
获取所述摄像头的预设分辨率；
计算所述预设分辨率与所述输出分辨率的比值；
根据所述比值从所有输入像素中选取多个基准像素；
基于所述基准像素的位置和所述比值得到输出像素的位置；
基于比值选取所述基准像素周围的周围像素；
获取所述基准像素和所述基准像素对应的周围像素的基础像素信息值，并根据所有基础像素信息值作为所述输出像素的基础像素信息值；
基于所有输出像素生成输出视频图像信息。
6.根据权利要求2所述的一种基于全向摄像头的监控方法，其特征在于，所述指令信息包括屏蔽范围信息；
所述处理所述输入像素，处理之后生成输出视频图像信息的具体步骤包括：
基于所述输入像素所对应摄像头的拍摄范围信息，获取所述屏蔽范围信息的起始角度和结束角度；
获取所述输入像素所对应摄像头观察像素点的视线角度；
分别将各个视线角度与所述起始角度以及所述结束角度进行比对；
判断所述视线角度是否位于所述起始角度以及所述结束角度之间；
若所述视线角度位于所述起始角度以及所述结束角度之间，则将对应的输入像素的像素值设置为预设的屏蔽像素值；
若所述视线角度位于所述起始角度以及所述结束角度之外，则不调整对应的输入像素的像素值；
基于所述像素值调整后的输入像素生成输出视频图像信息。
7.根据权利要求2所述的一种基于全向摄像头的监控方法，其特征在于，所述处理所述输入像素，处理之后生成输出视频图像信息的具体步骤包括：
获取任意相邻两个所述摄像头的实际距离；
获取所述任意相邻两个所述摄像头观察所有输入像素所对应物体的第一视线角度与第二视线角度；
基于所述实际距离、所述第一视线角度与所述第二视线角度，分别得到所有输入像素所对应的物体到所述摄像头组的相对距离；
判断所述相对距离是否小于预设的阈值；
若所述相对距离大于等于所述阈值，则将对应的输入像素的像素值设置为屏蔽像素值；
若所述相对距离小于所述阈值，则不调整对应的输入像素的像素值；
基于所述像素值调整后的输入像素生成输出视频图像信息。
8.一种基于全向摄像头的监控系统，其特征在于，包括：
摄像装置和视频处理装置，所述摄像装置与所述视频处理装置连接，所述视频处理装置连接有视频客户端装置；
所述摄像装置用于获取视频图像信息，并将所述视频图像信息传送到所述视频处理装置；
所述视频处理装置用于接收所述视频图像信息以及所述视频客户端装置发送的指令信息，并根据所述指令信息对所述视频图像信息进行处理后生成目标视频图像信息，向所述视频客户端装置输出所述目标视频图像信息；
所述视频客户端装置用于向所述视频处理装置发送所述指令信息，并接收所述目标视频图像信息。
9.根据权利要求8所述的一种基于全向摄像头的监控系统，其特征在于，还包括集成的音频装置、供电装置以及可控制移动装置。
CN202111604974.7A 2021-12-24 2021-12-24 一种基于全向摄像头的监控方法及其系统 Pending CN114189660A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111604974.7A CN114189660A (zh) 2021-12-24 2021-12-24 一种基于全向摄像头的监控方法及其系统
PCT/CN2022/076339 WO2023115685A1 (zh) 2021-12-24 2022-02-15 一种基于全向摄像头的监控方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111604974.7A CN114189660A (zh) 2021-12-24 2021-12-24 一种基于全向摄像头的监控方法及其系统

Publications (1)

Publication Number Publication Date
CN114189660A true CN114189660A (zh) 2022-03-15

Family

ID=80545004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111604974.7A Pending CN114189660A (zh) 2021-12-24 2021-12-24 一种基于全向摄像头的监控方法及其系统

Country Status (2)

Country Link
CN (1) CN114189660A (zh)
WO (1) WO2023115685A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117255180A (zh) * 2023-11-20 2023-12-19 山东通广电子股份有限公司 一种智能安全监控设备及监控方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040145657A1 (en) * 2002-06-27 2004-07-29 Naoki Yamamoto Security camera system
US20110156887A1 (en) * 2009-12-30 2011-06-30 Industrial Technology Research Institute Method and system for forming surrounding seamless bird-view image
CN103890783A (zh) * 2012-10-11 2014-06-25 华为技术有限公司 一种实现视频遮挡的方法、装置和系统
CN104159026A (zh) * 2014-08-07 2014-11-19 厦门亿联网络技术股份有限公司 一种实现360度全景视频的系统
CN104980697A (zh) * 2015-04-28 2015-10-14 杭州普维光电技术有限公司 一种网络摄像机视频传输方法
CN105141894A (zh) * 2015-08-06 2015-12-09 四川九洲电器集团有限责任公司 一种无线监控系统及其无线监控设备、中心服务器
CN106331603A (zh) * 2016-08-18 2017-01-11 深圳市瑞讯云技术有限公司 视频监控方法、装置、服务器及系统
CN106657871A (zh) * 2015-10-30 2017-05-10 中国电信股份有限公司 基于视频拼接的多角度动态视频监控方法及装置
CN107343165A (zh) * 2016-04-29 2017-11-10 杭州海康威视数字技术股份有限公司 一种监控方法、设备及系统
CN107529021A (zh) * 2017-10-18 2017-12-29 北京伟开赛德科技发展有限公司 隧道型全景视频采集、分发、定位跟踪系统及其方法
CN112118396A (zh) * 2019-06-21 2020-12-22 晶睿通讯股份有限公司 图像校正方法及其相关监控摄像系统
CN112597337A (zh) * 2020-12-10 2021-04-02 北京飞讯数码科技有限公司 一种视频监控内容的查看方法、装置、设备及介质
CN112806021A (zh) * 2018-10-05 2021-05-14 脸谱公司 基于捕获视频数据的另一客户端设备对视频数据的分析修改由接收客户端设备对视频数据的呈现

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563953B2 (en) * 2014-08-28 2017-02-07 Qualcomm Incorporated Systems and methods for determining a seam
CN104539847B (zh) * 2014-12-26 2018-05-15 宇龙计算机通信科技(深圳)有限公司 一种全景拍照方法及移动终端
CN104754228A (zh) * 2015-03-27 2015-07-01 广东欧珀移动通信有限公司 一种利用移动终端摄像头拍照的方法及移动终端
CN111556283B (zh) * 2020-03-18 2022-04-19 深圳市华橙数字科技有限公司 监控摄像头管理方法、装置、终端及存储介质
CN112188163B (zh) * 2020-09-29 2022-09-13 厦门汇利伟业科技有限公司 一种实时视频图像自动去重拼接的方法和系统
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040145657A1 (en) * 2002-06-27 2004-07-29 Naoki Yamamoto Security camera system
US20110156887A1 (en) * 2009-12-30 2011-06-30 Industrial Technology Research Institute Method and system for forming surrounding seamless bird-view image
CN103890783A (zh) * 2012-10-11 2014-06-25 华为技术有限公司 一种实现视频遮挡的方法、装置和系统
CN104159026A (zh) * 2014-08-07 2014-11-19 厦门亿联网络技术股份有限公司 一种实现360度全景视频的系统
CN104980697A (zh) * 2015-04-28 2015-10-14 杭州普维光电技术有限公司 一种网络摄像机视频传输方法
CN105141894A (zh) * 2015-08-06 2015-12-09 四川九洲电器集团有限责任公司 一种无线监控系统及其无线监控设备、中心服务器
CN106657871A (zh) * 2015-10-30 2017-05-10 中国电信股份有限公司 基于视频拼接的多角度动态视频监控方法及装置
CN107343165A (zh) * 2016-04-29 2017-11-10 杭州海康威视数字技术股份有限公司 一种监控方法、设备及系统
CN106331603A (zh) * 2016-08-18 2017-01-11 深圳市瑞讯云技术有限公司 视频监控方法、装置、服务器及系统
CN107529021A (zh) * 2017-10-18 2017-12-29 北京伟开赛德科技发展有限公司 隧道型全景视频采集、分发、定位跟踪系统及其方法
CN112806021A (zh) * 2018-10-05 2021-05-14 脸谱公司 基于捕获视频数据的另一客户端设备对视频数据的分析修改由接收客户端设备对视频数据的呈现
CN112118396A (zh) * 2019-06-21 2020-12-22 晶睿通讯股份有限公司 图像校正方法及其相关监控摄像系统
CN112597337A (zh) * 2020-12-10 2021-04-02 北京飞讯数码科技有限公司 一种视频监控内容的查看方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117255180A (zh) * 2023-11-20 2023-12-19 山东通广电子股份有限公司 一种智能安全监控设备及监控方法
CN117255180B (zh) * 2023-11-20 2024-02-09 山东通广电子股份有限公司 一种智能安全监控设备及监控方法

Also Published As

Publication number Publication date
WO2023115685A1 (zh) 2023-06-29

Similar Documents

Publication Publication Date Title
TWI558208B (zh) 影像處理方法、影像處理裝置及顯示系統
CA2530187A1 (en) Panoramic video system with real-time distortion-free imaging
CN107948505B (zh) 一种全景拍摄方法及移动终端
US11006042B2 (en) Imaging device and image processing method
KR20120108747A (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
EP3451649A1 (en) Method and apparatus for generating indoor panoramic video
CN103430531B (zh) 视频处理装置、视频处理系统和视频处理方法
JP2021057766A5 (ja) 画像表示システム、画像処理装置、および動画配信方法
US20200162671A1 (en) Image capturing system, terminal and computer readable medium which correct images
US20100020202A1 (en) Camera apparatus, and image processing apparatus and image processing method
US11889228B2 (en) Conference device with multi-videostream capability
WO2023115685A1 (zh) 一种基于全向摄像头的监控方法及其系统
JP2010171690A (ja) テレビ会議システムおよび映像通信方法
JP2018033107A (ja) 動画の配信装置及び配信方法
KR101806840B1 (ko) 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
WO2023206796A1 (zh) 拍摄校准方法、系统、设备及存储介质
CN112887653B (zh) 一种信息处理方法和信息处理装置
WO2017092369A1 (zh) 一种头戴设备、三维视频通话系统和三维视频通话实现方法
TWI576786B (zh) 影像處理裝置
CN114257733A (zh) 具有视点偏移的全向图像的图像处理的方法和系统
KR20170011928A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
CN114830674A (zh) 发送装置和接收装置
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220315

RJ01 Rejection of invention patent application after publication