CN111405150A - 一种基于图像分割的交互系统及方法 - Google Patents

一种基于图像分割的交互系统及方法 Download PDF

Info

Publication number
CN111405150A
CN111405150A CN201910145382.XA CN201910145382A CN111405150A CN 111405150 A CN111405150 A CN 111405150A CN 201910145382 A CN201910145382 A CN 201910145382A CN 111405150 A CN111405150 A CN 111405150A
Authority
CN
China
Prior art keywords
image
module
wireless connection
image segmentation
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910145382.XA
Other languages
English (en)
Inventor
黄建军
王盛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qimengxing Technology Co ltd
Original Assignee
Shenzhen Qimengxing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qimengxing Technology Co ltd filed Critical Shenzhen Qimengxing Technology Co ltd
Priority to CN201910145382.XA priority Critical patent/CN111405150A/zh
Publication of CN111405150A publication Critical patent/CN111405150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像分割的交互系统及方法，鱼眼镜头在光电传感器上呈现出圆形的畸变原始图像，将图像的YUV数据传输给处理器，处理器的图像分割模块将圆图的YUV数据切分为上下两个半圆；上半圆的YUV数据先经过图像矫正模块进行等距投影矫正，再经过视频编码模块将视频流压缩为H.264数据并通过无线连接装置传输到移动终端设备上；下半圆的YUV数据经过图像矫正模块将获取到的图片进行等距投影矫正和透视变换矫正后得到了正常的长方形图片，并通过图像识别模块识别出当前的图像进行内容交互，基于图像分割实现了通过一个摄像头同时进行绘本识别交互和视频监控两个功能，达到一物多用不冲突，节约了生产成本。

Description

一种基于图像分割的交互系统及方法
技术领域
本发明公开了一种基于图像分割的交互系统及方法。
背景技术
现有技术绘本识别方法是通过一个普通光学镜头，一般视角为72°-108°，搭配光电传感器获取绘本图片，再利用图像识别技术在系统的处理器中识别当前绘本图片。由于镜头可视区域狭小，为了获取完整的绘本图片，通常需要将光学镜头和传感器放置在与水平夹角约45°位置，导致平行于系统的物体无法进入镜头的视角范围，无法实现监控功能，且绘本识别区域的范围也比较狭窄。
发明内容
本发明所要解决的技术问题是提供一种基于图像分割的交互系统及方法。
本发明解决上述技术问题所采取的技术方案如下：
一种基于图像分割的交互系统，包括鱼眼镜头、光电传感器、处理器、音频播放装置、存储器和无线连接装置，所述鱼眼镜头用于拍设广角画面，所述光电传感器与鱼眼摄像头连接，光电传感器用于将鱼眼镜头的光信号转换为电信号，所述处理器分别与光电传感器、音频播放、存储器和传输模块连接，所述处理器用于对图像进行切割矫正和绘本识别，所述存储器用于存储绘本信息和运行程序，所述音频播放装置用于播放存储器内的音频文件，所述无线连接装置用于与移动端设备连接进行远程监控和控制。鱼眼眼镜头为超广角光学镜头，理论视角范围为180°，由于其光学特性，鱼眼镜头的成像一般为正圆形，且离中心点越远的区域成像的畸变越严重，图像需要矫正后才能使用。由于越接近边缘区域的图像畸变越严重，实际可使用的视角范围约为160°。
优选的是，所述无线连接装置包括蓝牙模块和wifi模块。通过蓝牙模块或者wifi模块与移动端设备连接，实现监控视频的传输和移动端设备的远程控制。
优选的是，所述处理器包括用于图像切割的图像分割模块、用于图像畸形矫正的图像矫正模块、用于图像编码的图像编码模块和用于绘本识别的图像识别模块。
一种基于图像分割的交互方法，包括以下步骤：
步骤一：通过鱼眼镜头和光电传感器采集图像；
步骤二：通过图像切割模块将步骤一采集的图像分为上下两部分；
步骤三：通过图像矫正模块分别将步骤二的上下两部分图像进行等距投影矫正；
步骤四：将步骤三的下半部分图像通过图像识别模块对比特征进行绘本识别；
步骤五：从存储器内找出与步骤四的绘本识别结果对应的绘本音频文件，并通过音频播放装置播放；
步骤六：通过无线连接装置与移动端设备建立无线连接；
步骤七：将步骤三的上半部分图像通过视频编码模块编码并通过无线连接装置发给移动端设备。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，
图1是本发明一种基于图像分割的交互方法的流程框图；
图2是本发明一种基于图像分割的交互系统的连接框图；
图3是本发明一种基于图像分割的交互系统及方法的光路示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
如图1-3所示，一种基于图像分割的交互系统，包括鱼镜头、光电传感器、处理器、音频播放装置、存储器和无线连接装置，所述鱼眼镜头用于拍设广角画面，所述光电传感器与鱼眼摄像头连接，光电传感器用于将鱼眼镜头的光信号转换为电信号，所述处理器分别与光电传感器、音频播放、存储器和传输模块连接，所述处理器用于对图像进行切割矫正和绘本识别，所述存储器用于存储绘本信息和运行程序，所述音频播放装置用于播放存储器内的音频文件，所述无线连接装置用于与移动端设备连接进行远程监控和控制。鱼眼眼镜头为超广角光学镜头，理论视角范围为180°，由于其光学特性，鱼眼镜头的成像一般为正圆形，且离中心点越远的区域成像的畸变越严重，图像需要矫正后才能使用。由于越接近边缘区域的图像畸变越严重，实际可使用的视角范围约为160°。
优选的是，所述无线连接装置包括蓝牙模块和wifi模块。通过蓝牙模块或者wifi模块与移动端设备连接，实现监控视频的传输和移动端设备的远程控制。
优选的是，所述处理器包括用于图像切割的图像分割模块、用于图像畸形矫正的图像矫正模块、用于图像编码的图像编码模块和用于绘本识别的图像识别模块。
一种基于图像分割的交互方法，包括以下步骤：
步骤一：通过鱼眼镜头和光电传感器采集图像；
步骤二：通过图像切割模块将步骤一采集的图像分为上下两部分；
步骤三：通过图像矫正模块分别将步骤二的上下两部分图像进行等距投影矫正；
步骤四：将步骤三的下半部分图像通过图像识别模块对比特征进行绘本识别；
步骤五：从存储器内找出与步骤四的绘本识别结果对应的绘本音频文件，并通过音频播放装置播放；
步骤六：通过无线连接装置与移动端设备建立无线连接；
步骤七：将步骤三的上半部分图像通过视频编码模块编码并通过无线连接装置发给移动端设备。
本发明一种基于图像分割的交互系统及方法，鱼眼镜头在光电传感器上呈现出圆形的畸变原始图像，将图像的YUV数据传输给处理器，处理器的图像分割模块将圆图的YUV数据切分为上下两个半圆；上半圆的YUV数据先经过经过图像矫正模块进行等距投影矫正，再经过视频编码模块将视频流压缩为H.264数据并通过无线连接装置传输到移动终端设备上；下半圆的YUV数据经过图像矫正模块将获取到的图片进行等距投影矫正和透视变换矫正后得到了正常的长方形图片，并通过图像识别模块识别出当前的图像进行内容交互，本发明采用广角摄像头作为绘本识别和视频监控获取图片的装置，利用图像矫正技术将切割后畸变的半圆形图像转变成正常的长方形图像，基于图像分割实现了通过一个摄像头同时进行绘本识别交互和视频监控两个功能，达到一物多用不冲突，节约了生产成本。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像分割的交互系统，其特征在于，包括鱼镜头、光电传感器、处理器、音频播放装置、存储器和无线连接装置，所述鱼眼镜头用于拍设广角画面，所述光电传感器与鱼眼摄像头连接，光电传感器用于将鱼眼镜头的光信号转换为电信号，所述处理器分别与光电传感器、音频播放、存储器和传输模块连接，所述处理器用于对图像进行切割矫正和绘本识别以及对视频进行编码，所述存储器用于存储绘本信息和运行程序，所述音频播放装置用于播放存储器内的音频文件，所述无线连接装置用于与移动端设备连接进行远程监控和控制。
2.根据权利要求1所述基于图像分割的交互系统，其特征在于，所述无线连接装置包括蓝牙模块和wifi模块。
3.根据权利要求1所述基于图像分割的交互系统，其特征在于，所述处理器包括用于图像切割的图像分割模块、用于图像畸形矫正的图像矫正模块、用于图像编码的图像编码模块和用于绘本识别的图像识别模块。
4.一种基于图像分割的交互方法，其特征在于，包括以下步骤：
步骤一：通过鱼眼镜头和光电传感器采集图像；
步骤二：通过图像切割模块将步骤一采集的图像分为上下两部分；
步骤三：通过图像矫正模块分别将步骤二的上下两部分图像进行等距投影矫正；
步骤四：将步骤三的下半部分图像通过图像识别模块对比特征进行绘本识别；
步骤五：从存储器内找出与步骤四的绘本识别结果对应的绘本音频文件，并通过音频播放装置播放；
步骤六：通过无线连接装置与移动端设备建立无线连接；
步骤七：将步骤三的上半部分图像通过视频编码模块编码并通过无线连接装置发给移动端设备。
CN201910145382.XA 2019-02-27 2019-02-27 一种基于图像分割的交互系统及方法 Pending CN111405150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910145382.XA CN111405150A (zh) 2019-02-27 2019-02-27 一种基于图像分割的交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910145382.XA CN111405150A (zh) 2019-02-27 2019-02-27 一种基于图像分割的交互系统及方法

Publications (1)

Publication Number Publication Date
CN111405150A true CN111405150A (zh) 2020-07-10

Family

ID=71413087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910145382.XA Pending CN111405150A (zh) 2019-02-27 2019-02-27 一种基于图像分割的交互系统及方法

Country Status (1)

Country Link
CN (1) CN111405150A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933598A (zh) * 2006-09-29 2007-03-21 北京中星微电子有限公司 一种视频监控系统
CN202818442U (zh) * 2012-05-25 2013-03-20 常州泰勒维克今创电子有限公司 全数字全景摄像机
CN107193904A (zh) * 2017-05-11 2017-09-22 浙江唯见科技有限公司 一种图书vr和ar体验交互系统
CN107454360A (zh) * 2017-09-13 2017-12-08 威创集团股份有限公司 一种屏幕录制装置及录制视频的方法
CN107977390A (zh) * 2017-03-09 2018-05-01 北京物灵智能科技有限公司 绘本识别方法、装置、系统及电子设备
CN108257198A (zh) * 2017-12-29 2018-07-06 北京物灵智能科技有限公司 一种将纸质绘本电子化的方法及系统
CN108765532A (zh) * 2018-05-04 2018-11-06 北京物灵智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933598A (zh) * 2006-09-29 2007-03-21 北京中星微电子有限公司 一种视频监控系统
CN202818442U (zh) * 2012-05-25 2013-03-20 常州泰勒维克今创电子有限公司 全数字全景摄像机
CN107977390A (zh) * 2017-03-09 2018-05-01 北京物灵智能科技有限公司 绘本识别方法、装置、系统及电子设备
CN107193904A (zh) * 2017-05-11 2017-09-22 浙江唯见科技有限公司 一种图书vr和ar体验交互系统
CN107454360A (zh) * 2017-09-13 2017-12-08 威创集团股份有限公司 一种屏幕录制装置及录制视频的方法
CN108257198A (zh) * 2017-12-29 2018-07-06 北京物灵智能科技有限公司 一种将纸质绘本电子化的方法及系统
CN108765532A (zh) * 2018-05-04 2018-11-06 北京物灵智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备

Similar Documents

Publication Publication Date Title
CN204761606U (zh) 通过无线通信频道提供即时图像的系统及全景视频采集装置
US8872887B2 (en) Object detection and rendering for wide field of view (WFOV) image acquisition systems
CN105611170A (zh) 一种无人机及其全景拼接方法、装置和系统
CN107426491B (zh) 一种360度全景视频的实现方法
US10621464B1 (en) Block based non-maximum suppression
WO2018171265A1 (zh) 图像滤波方法及装置
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
WO2021115179A1 (zh) 图像处理方法、图像处理装置、存储介质与终端设备
US11521473B2 (en) Audio/video electronic device
CN105120193A (zh) 一种录制全景视频的设备及方法
CN102917236A (zh) 一种基于单摄像头的立体拍照方法及数码摄像装置
EP3133804A1 (en) Method for correcting image from wide-angle lens and device therefor
CN103946871A (zh) 图像处理装置、图像识别装置、图像识别方法以及程序
CN104363400A (zh) 一种扫描本地二维码的方法及装置
US20230388473A1 (en) Circular stitching of images
CN110929615B (zh) 图像处理方法、图像处理装置、存储介质与终端设备
CN102300104A (zh) 3d电视机及其菜单处理的方法
CN114531564A (zh) 处理方法及电子设备
WO2023010755A1 (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
CN111405150A (zh) 一种基于图像分割的交互系统及方法
US11025809B2 (en) Dual imaging module cameras
CN104811802A (zh) 图像播放方法及装置
US11146826B2 (en) Image filtering method and apparatus
US20230008137A1 (en) Dynamic field of view selection in video
CN114120231A (zh) 一种球场智能监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710