CN107566743A - 移动机器人的视频监控方法 - Google Patents

移动机器人的视频监控方法 Download PDF

Info

Publication number
CN107566743A
CN107566743A CN201711036022.3A CN201711036022A CN107566743A CN 107566743 A CN107566743 A CN 107566743A CN 201711036022 A CN201711036022 A CN 201711036022A CN 107566743 A CN107566743 A CN 107566743A
Authority
CN
China
Prior art keywords
angle
shooting
robot
privacy
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711036022.3A
Other languages
English (en)
Other versions
CN107566743B (zh
Inventor
赖钦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Amicro Semiconductor Co Ltd
Original Assignee
Zhuhai Amicro Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Amicro Semiconductor Co Ltd filed Critical Zhuhai Amicro Semiconductor Co Ltd
Priority to CN201711036022.3A priority Critical patent/CN107566743B/zh
Publication of CN107566743A publication Critical patent/CN107566743A/zh
Priority to PCT/CN2018/098913 priority patent/WO2019085568A1/zh
Priority to US16/647,030 priority patent/US11151281B2/en
Priority to EP18872530.3A priority patent/EP3706414B1/en
Application granted granted Critical
Publication of CN107566743B publication Critical patent/CN107566743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种移动机器人的视频监控方法，包括如下步骤：基于机器人构建的地图，设置隐私区域；基于机器人的位置和摄像头的拍摄角度所拍摄的图像，判断当前拍摄的图像是否包含隐私内容；如果是，则屏蔽图像中所包含的隐私内容；如果否，则继续监控。通过在机器人所构建的地图中设置隐私区域，使得机器人在后续的视频监控过程中能判断所拍摄的图像是否包含隐私内容，从而对图像中的隐私内容进行屏蔽处理，以此保证移动机器人视频监控的安全性，避免隐私的泄露。

Description

移动机器人的视频监控方法
技术领域
本发明涉及机器人领域，具体涉及一种移动机器人的视频监控方法。
背景技术
现有的视频监控装置一般是固定的，少部分带有云台，可以360度进行旋转监控，这些监控装置都不会移动，只能拍摄附近的场景。随着机器人技术的发展，机器人可以自主定位和移动，装上视频获取装置，可以极大的扩展监控应用，例如，这类型的机器人可以作为巡逻机器人，可以覆盖很大的厂房、公共场所，避免监控死角等等。这类型的机器人，通常视频信息是常开的，会一直进行录像，并且影像会以数字存储的方式存放和流转，因此，会存在被窥探隐私的风险。
发明内容
为解决上述问题，本发明提供了一种移动机器人的视频监控方法，摄像时可以屏蔽隐私区域，避免隐私泄露的风险。本发明的具体技术方案如下：
一种移动机器人的视频监控方法，包括如下步骤：
基于机器人构建的地图，设置隐私区域；
基于机器人的位置和摄像头的拍摄角度所拍摄的图像，判断当前拍摄的图像是否包含隐私内容；
如果是，则屏蔽图像中所包含的隐私内容；
如果否，则继续监控。
进一步地，所述基于机器人构建的地图，设置隐私区域，包括如下步骤：
构建地图；
将所述地图显示至控制终端；
确定所述控制终端在所述地图中圈定的范围；
把所述圈定的范围作为所述隐私区域。
进一步地，所述基于机器人构建的地图，设置隐私区域，包括如下步骤：
构建地图；
接收设置隐私区域的指令；
接收外部导航指令，按所述外部导航指令行走，并记录行走路径；
将所述行走路径所圈定的对应所述地图中的范围作为隐私区域。
进一步地，所述基于机器人的位置和摄像头的拍摄角度，判断当前拍摄的图像是否包含隐私内容，包括如下步骤：
基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向；
基于所述当前位置和所述当前方向，确定机器人的摄像头的拍摄角度在所述地图中所覆盖的拍摄区域；
判断所述拍摄区域中是否包含隐私区域；
如果否，则确定当前拍摄的图像不包含隐私内容；
如果是，则确定当前拍摄的图像包含隐私内容。
进一步地，所述基于机器人的位置和摄像头的拍摄角度，判断当前拍摄的图像是否包含隐私内容，包括如下步骤：
基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向；
基于所述当前位置，判断机器人是否在所述隐私区域；
如果是，则确定当前拍摄的图像包含隐私内容；
如果否，基于所述当前位置和所述当前方向，确定机器人的摄像头的拍摄角度在所述地图中所覆盖的拍摄区域；
判断所述拍摄区域中是否包含隐私区域；
如果是，则确定当前拍摄的图像包含隐私内容；
如果否，则确定当前拍摄的图像不包含隐私内容。
进一步地，所述屏蔽图像中所包含的隐私内容，包括如下步骤：
确定所述摄像头的拍摄角度，所述拍摄角度所对应的两条边分别为第一拍摄角边和第二拍摄角边，所述第一拍摄角边对应图像一侧的第一最外侧边，所述第二拍摄角边对应图像另一侧的第二最外侧边；
确定所述拍摄区域中所包含的隐私区域投射至所述摄像头时所形成的位于所述拍摄角度内的最大屏蔽角度，所述最大屏蔽角度所对应的两条边分别为第一屏蔽角边和第二屏蔽角边；
基于所述第一屏蔽角边对应图像中的第一屏蔽线和第二屏蔽角边对应图像中的第二屏蔽线，确定图像中所包含的隐私内容为所述第一屏蔽线和所述第二屏蔽线之间的内容；
屏蔽图像中所述第一屏蔽线和所述第二屏蔽线之间的内容。
进一步地，所述基于所述第一屏蔽角边对应图像中的第一屏蔽线和第二屏蔽角边对应图像中的第二屏蔽线，包括如下步骤：
以摄像头的位置为原点建立XY轴坐标系，所述原点的坐标为（X0，Y0）；
确定所述摄像头的拍摄角度为ω；
确定所述摄像头拍摄方向与X轴的夹角为α，所述拍摄方向为所述拍摄角度的角平分线方向；
确定所述最大屏蔽角度的所述第一屏蔽角边与所述隐私区域相交的点的坐标为（X1，Y1），所述第二屏蔽角边与所述隐私区域相交的点的坐标为（X2，Y2）；
确定所述第一屏蔽角边与X轴的夹角为β，β=arctan（（Y1-Y0）/（X1-X0）），则求得所述第一拍摄角边与所述第一屏蔽角边之间的夹角为θ1，θ1=β-（α-（ω/2））=β-α+0.5ω；
确定所述第二屏蔽角边与X轴的夹角为δ，δ= arctan（（Y2-Y0）/（X2-X0）），则求得所述第一拍摄角边与所述第二屏蔽角边之间的夹角为θ2，θ2=δ-（α-（ω/2））=δ-α+0.5ω；
确定图像的长度为L，则所述第一屏蔽角边对应图像中的第一屏蔽线为与所述第一最外侧边的垂直距离为L*（θ1/ω）的平行线，所述第二屏蔽角边对应图像中的第二屏蔽线为与所述第一最外侧边的垂直距离为L*（θ2/ω）的平行线。
进一步地，所述屏蔽图像中所包含的隐私内容的步骤之后，还包括如下步骤：
将屏蔽隐私内容后的图像进行数据编码；
将编码后的数据发送至存储器进行存储或者发送至显示器进行显示。
进一步地，所述基于机器人构建的地图，设置隐私区域的步骤，还包括如下设置语音保密的步骤：
接收是否进行语音保密的指令；
如果是，则机器人不进行语音录制，所拍摄的视频不带有语音；
如果否，则机器人进行语音录制，所拍摄的视频带有语音。
进一步地，所述机器人包括两个摄像头，一个摄像头用于图像分析处理，另外一个摄像头用于视频录制，所录制的视频屏蔽了所述隐私内容。
本发明的有益效果在于：通过在机器人所构建的地图中设置隐私区域，使得机器人在后续的视频监控过程中能判断所拍摄的图像是否包含隐私内容，从而对图像中的隐私内容进行屏蔽处理，以此保证移动机器人视频监控的安全性，避免隐私的泄露。
附图说明
图1为本发明所述移动机器人的视频监控方法的流程图。
图2为本发明所述的机器人在房子里的视频监控示意图。
图3为图2中机器人拍摄的图像示意图。
图4为本发明所述的机器人视频监控的分析示意图。
图5为图4中机器人拍摄的图像示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
本发明所述的机器人主要指装有摄像头，能够进行视频监控的可移动智能机器人。这种机器人是智能家用电器的一种，能凭借一定的人工智能，自动在某些场合自动进行移动监控。机器人的机体上设有各种传感器，可检测行走距离、行走角度、机身状态和障碍物等，如碰到墙壁或其他障碍物，会自行转弯，并依不同的设定，而走不同的路线，有规划地进行视频监控。本发明所述的移动机器人（简称机器人）包括如下结构：带有驱动轮的能够自主行走的机器人机体，机体上设有人机交互界面和摄像头，机体上设有障碍检测单元。机体内部设置有惯性传感器，所述惯性传感器包括加速度计和陀螺仪等，驱动轮上设有用于检测驱动轮的行走距离的里程计（一般是码盘），还设有能够处理相关传感器的参数，并能够输出控制信号到执行部件的控制模块。
如图1所示，本发明所述的移动机器人的视频监控方法，包括如下步骤：基于机器人构建的地图，设置隐私区域；基于机器人的位置和摄像头的拍摄角度所拍摄的图像，判断当前拍摄的图像是否包含隐私内容；如果是，则屏蔽图像中所包含的隐私内容；如果否，则继续监控。本发明所述的方法通过在机器人所构建的地图中设置隐私区域，使得机器人在后续的视频监控过程中能判断所拍摄的图像是否包含隐私内容，从而对图像中的隐私内容进行屏蔽处理，以此保证移动机器人视频监控的安全性，避免隐私的泄露。
优选的，所述基于机器人构建的地图，设置隐私区域，包括如下步骤：构建地图；将所述地图显示至控制终端；确定所述控制终端在所述地图中圈定的范围；把所述圈定的范围作为所述隐私区域。目前，机器人构建地图需要对该区域进行完全遍历，即指机器人运动轨迹需要最大程度的遍布该区域。其中，完全遍历路径规划分为随机覆盖法和路径规划法。路径规划法又可以采用人工势场法、栅格法、模板模型法、模糊控制算法、神经网络路径规划法和遗传算法等。通过这些算法，机器人可以构建完整的地图。地图构建完成后，机器人可以将相关的地图数据发送至控制终端（智能手机或者平板电脑等），控制终端接收所述地图数据并显示地图。此时，用户可以通过操作智能终端，在显示的地图上圈定某一区域范围作为想要保密的区域，智能终端把所圈定的范围信息发送给机器人，则机器人会把所圈定的区域范围标示为隐私区域，便于后续的隐私处理。用户所圈定的范围可以为多个，并且，通过用户自主选择隐私区域，可以满足不同的需求，提高机器人的智能性和实用性。
优选的，所述基于机器人构建的地图，设置隐私区域，包括如下步骤：构建地图；接收设置隐私区域的指令；接收外部导航指令，按所述外部导航指令行走，并记录行走路径；将所述行走路径所圈定的对应所述地图中的范围作为隐私区域。目前，机器人构建地图需要对该区域进行完全遍历，即指机器人运动轨迹需要最大程度的遍布该区域。其中，完全遍历路径规划分为随机覆盖法和路径规划法。路径规划法又可以采用人工势场法、栅格法、模板模型法、模糊控制算法、神经网络路径规划法和遗传算法等。通过这些算法，机器人可以构建完整的地图。地图构建完成后，当机器人接收到遥控装置或者操作面板发出的设置隐私区域的指令时，判断是否接收到外部导航指令（遥控器或者智能手机等发出的导航指令），如果是，则按照所述外部导航指令行走，并记录行走路径，当所行走的路径构成一个闭合的圈时，把该闭合的圈对应于地图中的范围作为隐私区域。如果否，则等待下一步指令。通过这种方式，用户可以直接控制机器人行走来圈定隐私范围，更直观地体现和设置用户的隐私区域，满足不同用户的操作需求，提高机器人的实用性。
优选的，所述基于机器人的位置和摄像头的拍摄角度，判断当前拍摄的图像是否包含隐私内容，包括如下步骤：基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向；基于所述当前位置和所述当前方向，确定机器人的摄像头的拍摄角度在所述地图中所覆盖的拍摄区域；判断所述拍摄区域中是否包含隐私区域；如果否，则确定当前拍摄的图像不包含隐私内容；如果是，则确定当前拍摄的图像包含隐私内容。如图2所示，该图只是用来表示地图环境的示意图。图中，位置202为机器人当前所在的位置，两条虚线205所构成的角度为摄像头的拍摄角度，该拍摄角度是已知的，不同类型的摄像头，有不同的拍摄角度。拍摄角度所覆盖的拍摄区域即为图中两条虚线内的区域，所示虚线还可以向两边继续延伸，图示只画了一小段。图2中包括主人房201、客房204和卫生间203，其中，卫生间203被设置为隐私区域。当机器人在位置202时，所拍摄的范围包括了部分隐私区域（即延长虚线205后，位于虚线205左侧的网格区域），所以，摄像头可以拍摄到卫生间203里面的景象，此时就确定当前拍摄的图像包含隐私内容，需要屏蔽拍摄到的卫生间里的景象。图3所示的图像即为图2中机器人所拍摄到的图像，灰色部分206为屏蔽掉的隐私区域所对应的内容。其中，所述基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向，可以通过多种方式实现，比如通过陀螺仪可以检测机器人的行走方向，通过里程计可以检测机器人行走的距离，由陀螺仪和里程计可以确定机器人的当前位置和当前方向。此外，还可以通过激光定位、超宽频无线定位或者视觉导航定位等方式确定机器人的当前位置和当前方向，当然上述几种方式可以组合使用，以提高定位和导航的准确性。
优选的，所述基于机器人的位置和摄像头的拍摄角度，判断当前拍摄的图像是否包含隐私内容，包括如下步骤：基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向；基于所述当前位置，判断机器人是否在所述隐私区域；如果是，则确定当前拍摄的图像包含隐私内容；如果否，基于所述当前位置和所述当前方向，确定机器人的摄像头的拍摄角度在所述地图中所覆盖的拍摄区域；判断所述拍摄区域中是否包含隐私区域；如果是，则确定当前拍摄的图像包含隐私内容；如果否，则确定当前拍摄的图像不包含隐私内容。如图2所示，如果机器人进入了卫生间203，即判断机器人在所述隐私区域，此时，表明机器人所拍摄的所有内容均是隐私内容，可以直接确定当前拍摄的图像包含隐私内容，需要全部进行屏蔽，以此提高机器人的图像数据处理效率。只有当机器人不在隐私区域时，才需要像上述实施方式一样，进一步判断摄像头的拍摄角度在所述地图中所覆盖的拍摄区域是否包含隐私区域，后续的实施方式与上述实施方式相同，在此不再赘述。
优选的，所述屏蔽图像中所包含的隐私内容，包括如下步骤：确定所述摄像头的拍摄角度，所述拍摄角度所对应的两条边分别为第一拍摄角边和第二拍摄角边，所述第一拍摄角边对应图像一侧的第一最外侧边，所述第二拍摄角边对应图像另一侧的第二最外侧边；确定所述拍摄区域中所包含的隐私区域投射至所述摄像头时所形成的位于所述拍摄角度内的最大屏蔽角度，所述最大屏蔽角度所对应的两条边分别为第一屏蔽角边和第二屏蔽角边；基于所述第一屏蔽角边对应图像中的第一屏蔽线和第二屏蔽角边对应图像中的第二屏蔽线，确定图像中所包含的隐私内容为所述第一屏蔽线和所述第二屏蔽线之间的内容；屏蔽图像中所述第一屏蔽线和所述第二屏蔽线之间的内容。其中，所述屏蔽的方式也有很多种，比如可以在需要屏蔽的位置打马赛克，或者用纯灰度的图像覆盖需要屏蔽的位置等。
其中，所述基于所述第一屏蔽角边对应图像中的第一屏蔽线和第二屏蔽角边对应图像中的第二屏蔽线，包括如下步骤：以摄像头的位置为原点建立XY轴坐标系，所述原点的坐标为（X0，Y0）；确定所述摄像头的拍摄角度为ω；确定所述摄像头拍摄方向与X轴的夹角为α，所述拍摄方向为所述拍摄角度的角平分线方向；确定所述最大屏蔽角度的所述第一屏蔽角边与所述隐私区域相交的点的坐标为（X1，Y1），所述第二屏蔽角边与所述隐私区域相交的点的坐标为（X2，Y2）；确定所述第一屏蔽角边与X轴的夹角为β，β=arctan（（Y1-Y0）/（X1-X0）），则求得所述第一拍摄角边与所述第一屏蔽角边之间的夹角为θ1，θ1=β-（α-（ω/2））=β-α+0.5ω；确定所述第二屏蔽角边与X轴的夹角为δ，δ= arctan（（Y2-Y0）/（X2-X0）），则求得所述第一拍摄角边与所述第二屏蔽角边之间的夹角为θ2，θ2=δ-（α-（ω/2））=δ-α+0.5ω；确定图像的长度为L，则所述第一屏蔽角边对应图像中的第一屏蔽线为与所述第一最外侧边的垂直距离为L*（θ1/ω）的平行线，所述第二屏蔽角边对应图像中的第二屏蔽线为与所述第一最外侧边的垂直距离为L*（θ2/ω）的平行线。其中，所述α通过机器人的陀螺仪检测得出。
以图4为例进行说明，图4中各线之间的夹角仅是作为参考示意，不是准确的测量角度。位置301为摄像头所在的位置，以该位置为原点建立XY轴坐标系，原点的坐标为（X0=0，Y0=0）。第一拍摄角边303和第二拍摄角边307所构成的夹角角度为摄像头的拍摄角度为ω，ω=71°。摄像头的拍摄方向305为第一拍摄角边303和第二拍摄角边307的角平分线方向，即拍摄方向305与第一拍摄角边303的夹角角度为35.5°，拍摄方向305与第二拍摄角边307的夹角角度也为35.5°，此时，机器人的陀螺仪检测到当前的拍摄方向（即线305与X轴的夹角）为45.5°。带斜线图案的方格区域302为需要屏蔽的隐私区域（即作为屏蔽区域的所述隐私区域）。虚线304为第一屏蔽角边，虚线306为第二屏蔽角边，所述第一屏蔽角边与隐私区域的交点308的坐标为（X1=20，Y1=20），所述第二屏蔽角边与隐私区域的交点309的坐标为（X2=10，Y2=30）。由此可知，所述第一屏蔽角边与X轴的夹角为β，β=arctan（（Y1-Y0）/（X1-X0））=arctan（（20-0）/（20-0））=arctan1=45°。所述第二屏蔽角边与X轴的夹角为δ，δ=arctan（（Y2-Y0）/（X2-X0））= arctan（（30-0）/（10-0））=arctan3=71°。则求得所述第一拍摄角边与所述第一屏蔽角边之间的夹角为θ1，θ1=β-（α-（ω/2））=β-α+0.5ω=45°-45.5°+0.5*71°=35°。求得所述第一拍摄角边与所述第二屏蔽角边之间的夹角为θ2，θ2=δ-（α-（ω/2））=δ-α+0.5ω=71°-45.5°+0.5*71°=61°。如图5所示为图4中摄像头所拍摄的图像，图像310中的线311为对应所述第一屏蔽角边的线（即所述第一屏蔽线），图像中的线312为对应所述第二屏蔽角边的线（即第二屏蔽线），第一屏蔽线和第二屏蔽线之间的内容为屏蔽掉的内容。假设图像310的长度为L=10cm，则基于图4中θ1所占拍摄角度ω的比例，可以得出第一屏蔽线与图像左侧的第一最外侧边之间的垂直距离为L*（θ1/ω）=10*（35°/71°）=4.93cm，第二屏蔽线与图像左侧的第一最外侧边之间的垂直距离为L*（θ2/ω）=10*（61°/71°）=8.59cm。所以，确定最终需要屏蔽的隐私内容为图5中斜线覆盖的区域，即线311和线312之间的区域，线311距离图像最左侧的边为4.93cm，线312距离图像最左侧的边为8.59cm。
优选的，所述屏蔽图像中所包含的隐私内容的步骤之后，还包括如下步骤：将屏蔽隐私内容后的图像进行数据编码；将编码后的数据发送至存储器进行存储或者发送至显示器进行显示。通过将屏蔽隐私区域后的图像先进行编码再存储或者显示，可以提高数据安全性，避免数据被窃取所造成的隐私泄露的问题。
优选的，所述基于机器人构建的地图，设置隐私区域的步骤，还包括如下设置语音保密的步骤：接收是否进行语音保密的指令；如果是，则机器人不进行语音录制，所拍摄的视频不带有语音；如果否，则机器人进行语音录制，所拍摄的视频带有语音。通过设置语音保密的步骤，用户可以根据实际需求进行相应设置，进一步保护用户的隐私，避免一些重要的语音信息被泄露的风险。
优选的，所述机器人包括两个摄像头，一个摄像头用于图像分析处理，另外一个摄像头用于视频录制，所录制的视频屏蔽了所述隐私内容。通过采用两个摄像头同时进行工作，可以提高机器人的图像数据处理效率。
以上实施例仅为充分公开而非限制本发明，凡基于本发明的创作主旨、未经创造性劳动的等效技术特征的替换，应当视为本申请揭露的范围。

Claims (10)

1.一种移动机器人的视频监控方法，其特征在于，包括如下步骤：
基于机器人构建的地图，设置隐私区域；
基于机器人的位置和摄像头的拍摄角度所拍摄的图像，判断当前拍摄的图像是否包含隐私内容；
如果是，则屏蔽图像中所包含的隐私内容；
如果否，则继续监控。
2.根据权利要求1所述的方法，其特征在于，所述基于机器人构建的地图，设置隐私区域，包括如下步骤：
构建地图；
将所述地图显示至控制终端；
确定所述控制终端在所述地图中圈定的范围；
把所述圈定的范围作为所述隐私区域。
3.根据权利要求1所述的方法，其特征在于，所述基于机器人构建的地图，设置隐私区域，包括如下步骤：
构建地图；
接收设置隐私区域的指令；
接收外部导航指令，按所述外部导航指令行走，并记录行走路径；
将所述行走路径所圈定的对应所述地图中的范围作为隐私区域。
4.根据权利要求1所述的方法，其特征在于，所述基于机器人的位置和摄像头的拍摄角度，判断当前拍摄的图像是否包含隐私内容，包括如下步骤：
基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向；
基于所述当前位置和所述当前方向，确定机器人的摄像头的拍摄角度在所述地图中所覆盖的拍摄区域；
判断所述拍摄区域中是否包含隐私区域；
如果否，则确定当前拍摄的图像不包含隐私内容；
如果是，则确定当前拍摄的图像包含隐私内容。
5.根据权利要求1所述的方法，其特征在于，所述基于机器人的位置和摄像头的拍摄角度，判断当前拍摄的图像是否包含隐私内容，包括如下步骤：
基于机器人自身的定位数据，确定机器人在所述地图中的当前位置和当前方向；
基于所述当前位置，判断机器人是否在所述隐私区域；
如果是，则确定当前拍摄的图像包含隐私内容；
如果否，基于所述当前位置和所述当前方向，确定机器人的摄像头的拍摄角度在所述地图中所覆盖的拍摄区域；
判断所述拍摄区域中是否包含隐私区域；
如果是，则确定当前拍摄的图像包含隐私内容；
如果否，则确定当前拍摄的图像不包含隐私内容。
6.根据权利要求4或5所述的方法，其特征在于，所述屏蔽图像中所包含的隐私内容，包括如下步骤：
确定所述摄像头的拍摄角度，所述拍摄角度所对应的两条边分别为第一拍摄角边和第二拍摄角边，所述第一拍摄角边对应图像一侧的第一最外侧边，所述第二拍摄角边对应图像另一侧的第二最外侧边；
确定所述拍摄区域中所包含的隐私区域投射至所述摄像头时所形成的位于所述拍摄角度内的最大屏蔽角度，所述最大屏蔽角度所对应的两条边分别为第一屏蔽角边和第二屏蔽角边；
基于所述第一屏蔽角边对应图像中的第一屏蔽线和第二屏蔽角边对应图像中的第二屏蔽线，确定图像中所包含的隐私内容为所述第一屏蔽线和所述第二屏蔽线之间的内容；
屏蔽图像中所述第一屏蔽线和所述第二屏蔽线之间的内容。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一屏蔽角边对应图像中的第一屏蔽线和第二屏蔽角边对应图像中的第二屏蔽线，包括如下步骤：
以摄像头的位置为原点建立XY轴坐标系，所述原点的坐标为（X0，Y0）；
确定所述摄像头的拍摄角度为ω；
确定所述摄像头拍摄方向与X轴的夹角为α，所述拍摄方向为所述拍摄角度的角平分线方向；
确定所述最大屏蔽角度的所述第一屏蔽角边与所述隐私区域相交的点的坐标为（X1，Y1），所述第二屏蔽角边与所述隐私区域相交的点的坐标为（X2，Y2）；
确定所述第一屏蔽角边与X轴的夹角为β，β=arctan（（Y1-Y0）/（X1-X0）），则求得所述第一拍摄角边与所述第一屏蔽角边之间的夹角为θ1，θ1=β-（α-（ω/2））=β-α+0.5ω；
确定所述第二屏蔽角边与X轴的夹角为δ，δ= arctan（（Y2-Y0）/（X2-X0）），则求得所述第一拍摄角边与所述第二屏蔽角边之间的夹角为θ2，θ2=δ-（α-（ω/2））=δ-α+0.5ω；
确定图像的长度为L，则所述第一屏蔽角边对应图像中的第一屏蔽线为与所述第一最外侧边的垂直距离为L*（θ1/ω）的平行线，所述第二屏蔽角边对应图像中的第二屏蔽线为与所述第一最外侧边的垂直距离为L*（θ2/ω）的平行线。
8.根据权利要求1所述的方法，其特征在于，所述屏蔽图像中所包含的隐私内容的步骤之后，还包括如下步骤：
将屏蔽隐私内容后的图像进行数据编码；
将编码后的数据发送至存储器进行存储或者发送至显示器进行显示。
9.根据权利要求1所述的方法，其特征在于，所述基于机器人构建的地图，设置隐私区域的步骤，还包括如下设置语音保密的步骤：
接收是否进行语音保密的指令；
如果是，则机器人不进行语音录制，所拍摄的视频不带有语音；
如果否，则机器人进行语音录制，所拍摄的视频带有语音。
10.根据权利要求1所述的方法，其特征在于，所述机器人包括两个摄像头，一个摄像头用于图像分析处理，另外一个摄像头用于视频录制，所录制的视频屏蔽了所述隐私内容。
CN201711036022.3A 2017-10-30 2017-10-30 移动机器人的视频监控方法 Active CN107566743B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711036022.3A CN107566743B (zh) 2017-10-30 2017-10-30 移动机器人的视频监控方法
PCT/CN2018/098913 WO2019085568A1 (zh) 2017-10-30 2018-08-06 移动机器人的视频监控方法
US16/647,030 US11151281B2 (en) 2017-10-30 2018-08-06 Video monitoring method for mobile robot
EP18872530.3A EP3706414B1 (en) 2017-10-30 2018-08-06 Video monitoring method for mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711036022.3A CN107566743B (zh) 2017-10-30 2017-10-30 移动机器人的视频监控方法

Publications (2)

Publication Number Publication Date
CN107566743A true CN107566743A (zh) 2018-01-09
CN107566743B CN107566743B (zh) 2019-10-11

Family

ID=61031552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711036022.3A Active CN107566743B (zh) 2017-10-30 2017-10-30 移动机器人的视频监控方法

Country Status (4)

Country Link
US (1) US11151281B2 (zh)
EP (1) EP3706414B1 (zh)
CN (1) CN107566743B (zh)
WO (1) WO2019085568A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108366343A (zh) * 2018-03-20 2018-08-03 珠海市微半导体有限公司 机器人智能监视宠物的方法
WO2019085568A1 (zh) * 2017-10-30 2019-05-09 珠海市一微半导体有限公司 移动机器人的视频监控方法
CN110716568A (zh) * 2019-10-30 2020-01-21 深圳市银星智能科技股份有限公司 一种摄像控制系统、方法及移动机器人
CN110996010A (zh) * 2019-12-20 2020-04-10 歌尔科技有限公司 一种摄像头及其图像处理方法、装置及计算机存储介质
CN111225146A (zh) * 2020-01-16 2020-06-02 深圳市广道高新技术股份有限公司 基于无线感知的安防辅助监控方法、系统及存储介质
CN112602123A (zh) * 2018-12-06 2021-04-02 奥迪股份公司 机动车环境信息的电子处理方法、计算机程序产品以及电子信息处理系统
WO2024198842A1 (zh) * 2023-03-27 2024-10-03 北京石头创新科技有限公司 自移动设备及其控制方法、存储介质、计算机设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11349868B2 (en) 2018-01-18 2022-05-31 Forcepoint, LLC Detection of spoofed internally-addressed email using trusted third party's SPF records
US11245723B2 (en) 2018-11-02 2022-02-08 Forcepoint, LLC Detection of potentially deceptive URI (uniform resource identifier) of a homograph attack
US11295026B2 (en) * 2018-11-20 2022-04-05 Forcepoint, LLC Scan, detect, and alert when a user takes a photo of a computer monitor with a mobile phone
US11297099B2 (en) 2018-11-29 2022-04-05 Forcepoint, LLC Redisplay computing with integrated data filtering
US11050767B2 (en) 2018-12-17 2021-06-29 Forcepoint, LLC System for identifying and handling electronic communications from a potentially untrustworthy sending entity
US11379426B2 (en) 2019-02-05 2022-07-05 Forcepoint, LLC Media transfer protocol file copy detection
US11562093B2 (en) 2019-03-06 2023-01-24 Forcepoint Llc System for generating an electronic security policy for a file format type
CN112102516B (zh) * 2020-09-22 2022-08-02 国网山东省电力公司电力科学研究院 一种变电站智能机器人巡检系统及其接入运行方法
CN113747075B (zh) * 2021-09-17 2024-08-16 苏州惟信易量智能科技有限公司 一种拍摄控制方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179378A (zh) * 2011-12-26 2013-06-26 天津市亚安科技股份有限公司 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法
CN104038740A (zh) * 2014-06-17 2014-09-10 武汉烽火众智数字技术有限责任公司 一种遮蔽ptz监控摄像机隐私区域的方法及装置
CN105791751A (zh) * 2014-12-26 2016-07-20 浙江大华技术股份有限公司 一种基于球机的图像隐私遮挡方法及球机
CN106598052A (zh) * 2016-12-14 2017-04-26 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805220B2 (en) * 2003-03-14 2010-09-28 Sharper Image Acquisition Llc Robot vacuum with internal mapping system
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
KR100719120B1 (ko) * 2005-02-26 2007-05-17 삼성전자주식회사 프라이버시영역을 마스크 처리하는 감시시스템 및 그 방법
US8098282B2 (en) * 2007-07-13 2012-01-17 Honeywell International Inc. Privacy zone algorithm for ptz dome cameras
US9319635B2 (en) * 2012-11-30 2016-04-19 Pelco, Inc. Window blanking for pan/tilt/zoom camera
JP6409667B2 (ja) * 2015-04-17 2018-10-24 トヨタ自動車株式会社 遠隔操作システム
KR20170077756A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
JP6739041B2 (ja) * 2016-07-28 2020-08-12 パナソニックＩｐマネジメント株式会社 音声モニタリングシステム及び音声モニタリング方法
CN108206930A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 基于隐私遮蔽显示图像的方法及装置
EP3974934A1 (de) * 2017-03-02 2022-03-30 Robart GmbH Verfahren zur steuerung eines autonomen, mobilen roboters
US10521604B2 (en) * 2017-03-17 2019-12-31 Labyrinth Research Llc Unified control of privacy-impacting devices
US10583561B2 (en) * 2017-08-31 2020-03-10 Neato Robotics, Inc. Robotic virtual boundaries
CN107566743B (zh) * 2017-10-30 2019-10-11 珠海市一微半导体有限公司 移动机器人的视频监控方法
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179378A (zh) * 2011-12-26 2013-06-26 天津市亚安科技股份有限公司 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法
CN104038740A (zh) * 2014-06-17 2014-09-10 武汉烽火众智数字技术有限责任公司 一种遮蔽ptz监控摄像机隐私区域的方法及装置
CN105791751A (zh) * 2014-12-26 2016-07-20 浙江大华技术股份有限公司 一种基于球机的图像隐私遮挡方法及球机
CN106598052A (zh) * 2016-12-14 2017-04-26 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151281B2 (en) 2017-10-30 2021-10-19 Amicro Semiconductor Co., Ltd. Video monitoring method for mobile robot
WO2019085568A1 (zh) * 2017-10-30 2019-05-09 珠海市一微半导体有限公司 移动机器人的视频监控方法
CN108366343B (zh) * 2018-03-20 2019-08-09 珠海市一微半导体有限公司 机器人智能监视宠物的方法
US11259502B2 (en) 2018-03-20 2022-03-01 Amicro Semiconductor Co., Ltd. Intelligent pet monitoring method for robot
CN108366343A (zh) * 2018-03-20 2018-08-03 珠海市微半导体有限公司 机器人智能监视宠物的方法
CN112602123B (zh) * 2018-12-06 2021-11-05 奥迪股份公司 机动车环境信息的电子处理方法、计算机可读介质以及电子信息处理系统
CN112602123A (zh) * 2018-12-06 2021-04-02 奥迪股份公司 机动车环境信息的电子处理方法、计算机程序产品以及电子信息处理系统
US12046082B2 (en) 2018-12-06 2024-07-23 Audi Ag Method for processing surroundings information of a motor vehicle, computer program product and electronic information processing system
WO2021082565A1 (zh) * 2019-10-30 2021-05-06 深圳市银星智能科技股份有限公司 一种摄像控制系统、方法及移动机器人
CN110716568A (zh) * 2019-10-30 2020-01-21 深圳市银星智能科技股份有限公司 一种摄像控制系统、方法及移动机器人
CN110996010A (zh) * 2019-12-20 2020-04-10 歌尔科技有限公司 一种摄像头及其图像处理方法、装置及计算机存储介质
CN111225146A (zh) * 2020-01-16 2020-06-02 深圳市广道高新技术股份有限公司 基于无线感知的安防辅助监控方法、系统及存储介质
WO2024198842A1 (zh) * 2023-03-27 2024-10-03 北京石头创新科技有限公司 自移动设备及其控制方法、存储介质、计算机设备

Also Published As

Publication number Publication date
US11151281B2 (en) 2021-10-19
CN107566743B (zh) 2019-10-11
EP3706414A4 (en) 2020-09-09
US20200257821A1 (en) 2020-08-13
EP3706414B1 (en) 2022-05-11
EP3706414A1 (en) 2020-09-09
WO2019085568A1 (zh) 2019-05-09

Similar Documents

Publication Publication Date Title
CN107566743A (zh) 移动机器人的视频监控方法
AU2018271237B2 (en) Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
CN108247647B (zh) 一种清洁机器人
US11953910B2 (en) Autonomous platform guidance systems with task planning and obstacle avoidance
US10571925B1 (en) Autonomous platform guidance systems with auxiliary sensors and task planning
US10571926B1 (en) Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
CN106843230B (zh) 应用于移动设备的虚拟墙系统及其实现方法
CN106292657B (zh) 可移动机器人及其巡逻路径设置方法
CN107390721A (zh) 机器人随行控制方法、装置及机器人
Doroodgar et al. The search for survivors: Cooperative human-robot interaction in search and rescue environments using semi-autonomous robots
CN106168805A (zh) 基于云计算的机器人自主行走的方法
KR20180067724A (ko) 이동형 원격현전 로봇과의 인터페이싱
CN103389699A (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN109725632A (zh) 可移动智能设备控制方法、可移动智能设备及智能扫地机
US12105518B1 (en) Autonomous platform guidance systems with unknown environment mapping
CN107063242A (zh) 具虚拟墙功能的定位导航装置和机器人
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN112015187A (zh) 一种用于智能移动机器人的语义地图构建方法及系统
CN109164802A (zh) 一种机器人迷宫行走方法、装置及机器人
CN113084776B (zh) 基于视觉的多传感器融合的智能防疫机器人及系统
CN107729862B (zh) 机器人视频监控的保密处理方法
JP6200225B2 (ja) 誘導システム
Guo et al. Combining A* and dynamic window algorithm for dynamic path planning of visually impaired people using auxiliary travel equipment
Hsu et al. Using a Robot for Indoor Navigation and Door Opening Control Based on Image Processing
CN116125991A (zh) 一种基于面向高端场景的商用服务机器人的禁区脱困、存储介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong

Patentee after: Zhuhai Yiwei Semiconductor Co.,Ltd.

Country or region after: China

Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province

Patentee before: AMICRO SEMICONDUCTOR Co.,Ltd.

Country or region before: China