CN114898409B - 数据处理方法和设备 - Google Patents

数据处理方法和设备 Download PDF

Info

Publication number
CN114898409B
CN114898409B CN202210822911.7A CN202210822911A CN114898409B CN 114898409 B CN114898409 B CN 114898409B CN 202210822911 A CN202210822911 A CN 202210822911A CN 114898409 B CN114898409 B CN 114898409B
Authority
CN
China
Prior art keywords
image
demonstration board
real
time
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210822911.7A
Other languages
English (en)
Other versions
CN114898409A (zh
Inventor
张钦刚
周波
段炼
苗瑞
梁书玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haiqing Zhiyuan Technology Co.,Ltd.
Original Assignee
Shenzhen HQVT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen HQVT Technology Co Ltd filed Critical Shenzhen HQVT Technology Co Ltd
Priority to CN202210822911.7A priority Critical patent/CN114898409B/zh
Publication of CN114898409A publication Critical patent/CN114898409A/zh
Application granted granted Critical
Publication of CN114898409B publication Critical patent/CN114898409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种数据处理方法和设备，包括：获取多帧演示板实时图像和演示板背景图像；对多帧演示板实时图像与演示板背景图像作背景减法，获得多帧演示板实时去背景图像；从多帧演示板实时去背景图像中提取人体区域，使用多帧演示板实时去背景图像的人体区域对多帧演示板实时去背景图像进行处理获得多帧演示板实时去背景图像中非人体区域；对多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像；对板书图像进行数据加强处理后显示。通过以上设置，可以识别演示板并从中提取板书内容，将板书内容加强处理后和场景融合显示，有助于讲课者将复杂的知识推理过程更好地呈现给听课者。

Description

数据处理方法和设备
技术领域
本申请涉及通信技术，尤其涉及一种数据处理方法和设备。
背景技术
伴随着网络通信技术的发展，线上教育、会议正发展为一种新型的知识分享方式。作为讲课者，只需一台直播设备，即可将讲课的内容实时分享给观众。
线上教育的直播主要有两种形式，一种是共享屏幕的形式，教师提前制作好课件，授课时将屏幕共享，在屏幕外通过语音的形式讲解；另一种形式是全景摄像的模式，摄像设备同时拍摄教师和演示板，将演示板板面以及教师讲解内容传达给观众。
共享屏幕的直播形式，教师只能依据提前制作完成的课件进行讲解，对于复杂的公式等知识，无法现场将详细的推导过程展现给观众，且对于年长的教师，直播功能较为复杂，不易操作。而全景摄像的直播形式，由于分辨率、图像压缩等原因，观众无法看清演示板上的文字内容。
发明内容
本申请提供一种数据处理方法和设备，旨在自动识别演示板板书，将板书加强处理后与教师的实时图像进行融合传播，并按时间顺序记录板书内容。
本申请一实施例提供一种数据处理方法，方法包括：
获取多帧演示板实时图像和演示板背景图像；
对多帧演示板实时图像与演示板背景图像作背景减法，获得多帧演示板实时去背景图像；
从多帧演示板实时去背景图像中提取人体区域，使用多帧演示板实时去背景图像的人体区域对多帧演示板实时去背景图像进行处理获得多帧演示板实时去背景图像中非人体区域；
对多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像；
对板书图像进行数据加强处理后显示。
在一实施例中，对多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像，具体包括：
针对每帧演示板实时去背景图像，从演示板实时去背景图像中非人体区域中获得多个感兴趣区域内像素差值；
当连续多帧演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将感兴趣区域作为文字区域；并根据文字区域获得板书图像。
在一实施例中，当连续多帧演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将感兴趣区域作为文字区域；并根据文字区域获得板书图像，具体包括：
选取连续多帧演示板实时去背景图像构建目标图像集合；当目标图像集合中所有演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将感兴趣区域作为文字区域，并根据文字区域生成中间图像；
重复执行将目标图像集合中时间最早的演示板实时去背景图像从目标图像集合中删除，将目标图像集合中时间最晚的演示板实时去背景图像的后一帧演示板实时去背景图像新增至目标图像集合，以及当目标图像集合中所有演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将感兴趣区域作为文字区域，并使用文字区域更新中间图像，直至遍历所有帧演示板实时去背景图像为止，并将中间图像作为板书图像输出。
在一实施例中，从多帧演示板实时去背景图像中提取人体区域，具体包括：
对每帧演示板实时去背景图像进行二值化处理，获得二值化去背景图像；
对二值化去背景图像进行矩阵采样，获得至少一个缩小后的二值化去背景图像；
针对每个缩小后的二值化去背景图像，使用八相邻区域在缩小后的二值化去背景图像中搜索连通区域；当连通区域的面积大于第一阈值时，确定连通区域为人体区域。
在一实施例中，获取多帧演示板实时图像和演示板背景图像，具体包括：
采集目标场景的多个时刻的场景图像，统计场景图像中预设区域的像素值；
针对每个时刻的场景图像，当灰度值位于预设范围内的像素点的数量与预设区域中所有像素点数量的比值小于第二阈值时，提取场景图像中目标区域的图像数据，获得演示板实时图像。
在一实施例中，在获取多帧演示板实时图像和演示板背景图像之前，方法还包括：
采集目标场景的定位图像，对定位图像中预设区域中数据进行二值化处理，获得二值化定位图像；
使用八相邻区域在二值化定位图像中搜索连通区域，并去除面积小于第三阈值的连通区域；统计剩余连通区域中四个角点，获得演示板区域；
对演示板区域进行仿射变化获得目标区域。
在一实施例中，在对板书图像进行数据加强处理后显示之后，方法还包括：
将加强处理后的板书图像与场景图像进行融合后显示；
存储板书图像，并对板书图像添加时间信息。
本申请另一实施例提供一种处理设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现上述实施例提供的数据处理方法。
本申请又一实施例提供一种摄像设备，包括摄像单元和上述处理设备。
本申请提供一种数据处理方法和设备，确定一个合适大小的拍摄场景，手动标定演示板在拍摄画面中的大概位置，根据像素灰度值排序确定演示板画面的阈值范围，对预设区域数据进行二值化处理，进一步获取演示板的精确位置，并通过仿射变化转换为原始尺寸的标准矩形；对图像中的演示板位置进行实时跟踪，判别有无书写动作，识别图像中的人体区域并剔除，从剩余的非人体区域中根据像素灰度差值和的变化提取板书内容，通过纹理增强将板书内容作加强处理后，选择画面中颜色反差最大的色号，与实时摄像场景融合显示，同时将加强处理的板书内容按照时间顺序存储。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请一实施例提供的数据处理方法的流程图；
图2为本申请一实施例提供的数据处理方法中的数据加强处理示意图；
图3为本申请另一实施例提供的数据处理方法的流程图；
图4为本申请又一实施例提供的数据处理方法的流程图；
图5为本申请又一实施例提供的数据处理方法中确定人体区域的示意图；
图6为本申请再一实施例提供的数据处理方法的流程图；
图7A为本申请再一实施例提供的数据处理方法中场景图像中预设区域示意图；
图7B为本申请再一实施例提供的数据处理方法中场景图像中预设区域像素点灰度值的直方图排序示意图；
图8为本申请另一实施例提供的数据处理方法的流程图；
图9为本申请另一实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
随着信息技术的发展，以线上教育为典型的新型知识分享模式正逐渐为人们所接受。线上教育通常以直播的方式开展，直播有两种类型，其一是共享屏幕，该形式需要教师提前制作好课件，授课时将屏幕共享，在屏幕外通过语音的形式讲解。对于年龄较大的教师而言，制作课件并熟练使用直播软件，都较为复杂，且在教授不易表述的复杂知识时，仅通过课件无法直观展现公式推导等过程，会使教学效果大打折扣。另一种则是全景摄像的形式，摄像设备同时拍摄教师和演示板，将演示板板面以及教师讲解内容传达给观众，但直播过程中由于分辨率、图像压缩等原因，观众无法看清演示板上的文字内容。
为解决上述技术问题，本申请提供一种数据处理方法和设备，旨在自动识别演示板板书，将板书加强处理后与教师的实时图像进行融合传播，并按时间顺序记录板书内容。本申请的技术构思是：确定一个合适大小的拍摄场景，手动标定演示板在拍摄画面中的大概位置，从该大概位置中进一步获取演示板的精确位置，并转换为标准的原始矩形尺寸；对图像中的演示板位置进行实时跟踪，判别有无书写动作，识别图像中的人体区域并剔除，从剩余的非人体区域中提取板书内容，将板书内容作加强处理后，与实时摄像场景融合显示，同时将加强处理的板书内容按照时间顺序存储。
如图1所示，本申请一实施例提供一种数据处理方法，具体包括如下步骤：
S101、获取多帧演示板实时图像和演示板背景图像。
在该步骤中，将未开始书写前的演示板图像设定为演示板背景图像，图像的显示格式为YUV420，其中“Y”为图像中每个像素点的明亮度，也就是灰度值，而“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度。
S102、对多帧演示板实时图像与演示板背景图像作背景减法，获得多帧演示板实时去背景图像。
其中，背景减法即对每帧演示板实时图像，将每帧演示板实时图像中各个像素灰度值与演示板背景图像中对应像素灰度值进行相减，获得每帧演示板实时去背景图像。对多帧演示板实时图像进行如上操作，即可获得多帧演示板实时去背景图像。
例如：演示板背景图像为F0，多帧演示板实时图像为F1，F2，…，Fn，每帧演示板实时去背景图像为Ft=Fn-F0(n=1,2,…,n),对多帧演示板实时图像使用背景减法，获得多帧演示板实时去背景图像。
S103、从多帧演示板实时去背景图像中提取人体区域，使用多帧演示板实时去背景图像的人体区域对多帧演示板实时去背景图像进行处理获得多帧演示板实时去背景图像中非人体区域。
其中，多帧演示板实时去背景图像中，人体所在位置占有块状区域，易于提取。将多帧演示板实时去背景图像中人体区域与原始多帧多帧演示板实时去背景图像进行拟合，可以将人体区域剔除，获得多帧演示板实时去背景图像中非人体区域。
S104、对多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像。
其中，多帧演示板实时去背景图像中非人体区域包含有文字和小体积的人体部位，如头发、手指等，将随目标移动的小体积人体区域去除，可提取到文字部分，将多帧演示板实时去背景图像的文字部分进行拟合，获得板书图像。
S105、对板书图像进行数据加强处理后显示。
在该步骤中，对板书图像进行纹理增强处理，显示放大后的板书图像。
例如：如图2所示，尺寸为3×3像素的图像经纹理等比增强后放大为9×9像素的图像。
在上述方案中，利用背景减法获得多帧演示板的实时去背景图像，该实时去背景图像中包含板书内容和人体区域，根据人体区域特性将部分人体区域进行剔除。去除随目标移动的小体积人体区域，提取文字部分，将多帧演示板实时去背景图像的文字部分进行拟合，获得板书图像。板书图像通过纹理增强的方式放大显示。
如图3所示，本申请另一实施例提供一种数据处理方法，对多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像，具体方法包括如下步骤：
S201、针对每帧演示板实时去背景图像，从演示板实时去背景图像中非人体区域中获得多个感兴趣区域内像素差值。
其中，感兴趣区域中包含文字和较小的人体区域，如头发、手指等。遍历感兴趣区域的像素点，取其周围四个像素点的灰度值，计算这四个像素点与中心点的灰度值差值之和。
例如：某帧演示板实时去背景图像中非人体区域中，一像素点的灰度值为73，左邻像素点灰度值为75，右邻像素点灰度值为0，上方最近像素点灰度值为0，下方最近像素点灰度值为76，则灰度值的差值之和为(75-73)+(76-73)+(0-73)+(0-73)=-146,遍历感兴趣区域内的像素点，进行以上计算。
S202、选取连续多帧演示板实时去背景图像构建目标图像集合。
例如：选取连续五帧演示板实时去背景图像构建目标图像集合。
S203、当目标图像集合中所有演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将感兴趣区域作为文字区域，并根据文字区域生成中间图像。
在该步骤中，当文字固定在图像中时，其组成像素点的灰度值差值和保持不变，即使光照发生变化，中心点及周围四点的灰度值同增同减，差值和仍不变。而对于头发、手指等较小人体区域，随着目标移动，其灰度值差值和会发生变化，故当目标图像集合中所有演示板实时去背景图像中同一感兴趣区域的像素差值相同时，认定感兴趣区域作为书写的文字区域，根据文字区域生成中间图像。
例如：在该目标图像集合中，某像素点的灰度值差值之和一直为-146，则认为该像素点为书写的文字部分。另一像素点的灰度值差值之和在第一帧演示板实时去背景图像中为-146，在第二帧演示板实时去背景图像中为0，该像素点的灰度值差值和发生变化，则认为该像素点是较小的人体区域，应当将其去除。
S204、将目标图像集合中时间最早的演示板实时去背景图像从目标图像集合中删除，将目标图像集合中时间最晚的演示板实时去背景图像的后一帧演示板实时去背景图像新增至目标图像集合。
在该步骤中，在目标图像集合中删除最早的一帧演示板实时去背景图像，添加最晚的演示板实时去背景图像的后一帧演示板实时去背景图像，表示随时间推移，以滑动窗口形式更新目标图像集合，获得新的目标图像集合。
S205、判断是否遍历所有帧演示板实时去背景图像，若是，进入S206,否则返回S203。
在该步骤中，遍历没有完成时需根据步骤S203更新中间图像。
S206、将中间图像作为板书图像输出。
在该步骤中，中间图像随着遍历过程实时拟合更新，输出为完整的板书图像。
在上述方案中，选取连续多帧演示板实时去背景图像构建目标图像集合，根据目标图像集合中所有演示板实时去背景图像的像素灰度值差值和变化情况，提取文字区域，根据文字区域生成中间图像。随时间推移更新目标图像集合，使用新的目标图像集合更新中间图像，直至遍历所有帧演示板实时去背景图像，将中间图像作为板书图像输出。
如图4所示，本申请又一实施例提供一种数据处理方法，从多帧演示板实时去背景图像中提取人体区域，该方法包括如下步骤：
S301、对每帧演示板实时去背景图像进行二值化处理，获得二值化去背景图像。
在该步骤中，首先设定一个二值化阈值，当每帧演示板实时去背景图像的像素点灰度值大于该二值化阈值时，该像素点设为1，否则设为0，由此获得二值化去背景图像。
S302、对二值化去背景图像进行矩阵采样，获得至少一个缩小后的二值化去背景图像。
在该步骤中，矩阵采样表示在该矩阵范围内的二值化采样点均为1，该矩阵范围可整体表示为1，否则为0，利用矩阵采样可以获得缩小的二值化去背景图像。
例如：某二值化去背景图像尺寸为90×90，使用3×3的矩阵作矩阵采样，只有当这个矩阵内的9个采样点二值化数值均为1时，这个矩阵可整体表示为1，否则表示为0。经该矩阵采样后，二值化去背景图像尺寸缩小为30×30。
S303、针对每个缩小后的二值化去背景图像，使用八相邻区域在缩小后的二值化去背景图像中搜索连通区域；当连通区域的面积大于第一阈值时，确定连通区域为人体区域。
其中，八相邻区域指的是一个像素点的上、下、左、右、左上、右上、左下、右下这八个相邻区域。由于人体区域的特点是以块为单位，设定第一阈值，当使用八连通搜索后连通的区域大于第一阈值时，确定连通区域为人体区域。
例如：如图5所示，设定第一阈值，图中1、2、3号点的文字部分和人体部分分别连通不同数量的区域，3号点中的人体部分连通区域面积大于第一阈值，故3号点为人体区域。
在上述技术方案中，根据二值化阈值对多帧演示板实时去背景图像进行二值化处理，使用矩阵采样获得缩小的二值化去背景图像，再根据八连通搜索连通的区域范围获得人体区域。
如图6所示，本申请再一实施例提供一种数据处理方法，获取多帧演示板实时图像和演示板背景图像，具体步骤如下：
S401、采集目标场景的多个时刻的场景图像，统计场景图像中预设区域的像素值。
在该步骤中，预设区域代表手动标定的演示板大概区域。
例如：如图7A所示，图中Wb*Hb即为手动标定的演示板大概区域，是场景图像中的预设区域，如图7B所示，图中表示预设区域内像素点灰度值的直方图排序图。
S402、针对每个时刻的场景图像，当灰度值位于预设范围内的像素点的数量与预设区域中所有像素点数量的比值小于第二阈值时，提取场景图像中目标区域的图像数据，获得演示板实时图像。
在该步骤中，预设范围代表演示板画面的阈值范围，根据演示板占据预设区域的大小设置第二阈值，当灰度值位于预设范围内像素点的数量与预设区域中所有像素点的比值小于第二阈值时，表明人体对演示板有遮挡，判定为有书写动作，故提取场景图像中目标区域的图像数据，获得演示板实时图像。
在上述技术方案中，当有书写动作时，人体会遮挡演示板，造成演示板像素灰度值在预设区域内的占比减小。判定发生书写动作时，提取场景图像中目标区域也即演示板的实时图像。
如图8所示，本申请另一实施例提供一种数据处理方法，在获取多帧演示板实时图像和演示板背景图像之前，获取目标区域，该方法包括如下步骤：
S501、采集目标场景的定位图像，对定位图像中预设区域的数据进行二值化处理，获得二值化定位图像。
在该步骤中，对预设区域中数据进行二值化处理，当预设区域中像素点位于演示板画面阈值范围内，则该像素点的灰度值设为1，否则设为0，获得二值化定位图像。
S502、使用八相邻区域在二值化定位图像中搜索连通区域，并去除面积小于第三阈值的连通区域；统计剩余连通区域中四个角点，获得演示板区域；
在该步骤中，演示板为连续的块状区域，设定第三阈值去除较小的连通区域，剩余连通区域即为更精确的演示板位置。剩余连通区域中的四个角点为区域中左上，右上，左下，右下四个最大值，这四个角点代表演示板范围，可获得演示板区域。
S503、对演示板区域进行仿射变化获得目标区域。
其中，由于拍摄角度的问题，采集到的演示板区域图像可能并不是标准矩形，对该图像进行仿射变化，即可转化为原始尺寸的新标准矩形。
在上述技术方案，在预设区域内，依据演示板阈值范围对该区域数据进行二值化，通过八连通搜索二值化图像，去除较小连通区域后获得更精确的演示板位置，并通过仿射变化将演示板画面还原为原始尺寸的标准矩形。
本申请一实施例提供一种数据处理方法，在对板书图像进行数据加强处理后显示之后，该方法将加强处理后的板书图像与场景图像进行融合后显示，其中板书图像颜色选取画面中颜色反差最大的色号，该方法还将存储板书图像，并对板书图像添加时间信息。
在上述技术方案中，在对板书图像进行数据加强处理后，将加强处理后的板书图像与场景图像融合显示，并按照时间顺序存储板书图像，便于听课者后续进行回顾。
如图9所示，本申请一实施例提供一种电子设备600，电子设备600包括存储器601和处理器602。
其中，存储器601用于存储处理器可执行的计算机指令；
处理器602在执行计算机指令时实现上述实施例中方法中的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，上述存储器601既可以是独立的，也可以跟处理器602集成在一起。当存储器601独立设置时，该电子设备还包括总线，用于连接存储器601和处理器602。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，当处理器执行计算机指令时，实现上述实施例中方法中的各个步骤。
本申请实施例还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现上述实施例中方法中的各个步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种数据处理方法，其特征在于，包括：
获取多帧演示板实时图像和演示板背景图像；
对所述多帧演示板实时图像与所述演示板背景图像作背景减法，获得多帧演示板实时去背景图像；
从所述多帧演示板实时去背景图像中提取人体区域，使用所述多帧演示板实时去背景图像的人体区域对所述多帧演示板实时去背景图像进行处理获得所述多帧演示板实时去背景图像中非人体区域；
对所述多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像；
对所述板书图像进行数据加强处理后显示；
对所述多帧演示板实时去背景图像中非人体区域进行文字提取，获得板书图像，具体包括：
针对每帧演示板实时去背景图像，从所述演示板实时去背景图像中非人体区域中获得多个感兴趣区域内像素差值；所述像素差值是由感兴趣区域的像素点灰度值及该像素点周围四个像素点的灰度值差值之和得到；
当连续多帧演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将所述感兴趣区域作为文字区域；并根据所述文字区域获得所述板书图像。
2.根据权利要求1所述的数据处理方法，其特征在于，当连续多帧演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将所述感兴趣区域作为文字区域；并根据所述文字区域获得所述板书图像，具体包括：
选取连续多帧演示板实时去背景图像构建目标图像集合；当所述目标图像集合中所有演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将所述感兴趣区域作为文字区域，并根据所述文字区域生成中间图像；
重复执行将所述目标图像集合中时间最早的演示板实时去背景图像从所述目标图像集合中删除，将所述目标图像集合中时间最晚的演示板实时去背景图像的后一帧演示板实时去背景图像新增至所述目标图像集合，以及当所述目标图像集合中所有演示板实时去背景图像中同一感兴趣区域的像素差值相同时，将所述感兴趣区域作为文字区域，并使用所述文字区域更新所述中间图像，直至遍历所有帧演示板实时去背景图像为止，并将所述中间图像作为所述板书图像输出。
3.根据权利要求1所述的数据处理方法，其特征在于，从所述多帧演示板实时去背景图像中提取人体区域具体包括：
对每帧演示板实时去背景图像进行二值化处理，获得每帧演示板对应的二值化去背景图像；
对所述每帧演示板对应的二值化去背景图像进行矩阵采样，获得每帧演示板对应的缩小后的二值化去背景图像；
针对每个缩小后的二值化去背景图像，使用八相邻区域在所述缩小后的二值化去背景图像中搜索连通区域；当所述连通区域的面积大于第一阈值时，确定所述连通区域为所述人体区域。
4.根据权利要求1所述的数据处理方法，其特征在于，获取多帧演示板实时图像和演示板背景图像，具体包括：
采集目标场景的多个时刻的场景图像，统计场景图像中预设区域的像素值；
针对每个时刻的场景图像，当灰度值位于预设范围内的像素点数量与所述预设区域中所有像素点数量的比值小于第二阈值时，提取所述场景图像中目标区域的图像数据，获得所述演示板实时图像。
5.根据权利要求1所述的数据处理方法，其特征在于，在获取多帧演示板实时图像和演示板背景图像之前，所述方法还包括：
采集目标场景的定位图像，对所述定位图像中预设区域的数据进行二值化处理，获得二值化定位图像；
使用八相邻区域在所述二值化定位图像中搜索连通区域，并去除面积小于第三阈值的连通区域；统计剩余连通区域中四个角点，获得演示板区域；
对所述演示板区域进行仿射变化获得目标区域。
6.根据权利要求1所述的数据处理方法，其特征在于，在对所述板书图像进行数据加强处理后显示之后，所述方法还包括：
将所述加强处理后的板书图像与场景图像进行融合后显示。
7.根据权利要求1所述的数据处理方法，其特征在于，在对所述板书图像进行数据加强处理后显示之后，所述方法还包括：
存储所述板书图像，并对所述板书图像添加时间信息。
8.一种处理设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任意一项所述的数据处理方法。
9.一种摄像设备，其特征在于，包括摄像单元和如权利要求8所述的处理设备。
CN202210822911.7A 2022-07-14 2022-07-14 数据处理方法和设备 Active CN114898409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210822911.7A CN114898409B (zh) 2022-07-14 2022-07-14 数据处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210822911.7A CN114898409B (zh) 2022-07-14 2022-07-14 数据处理方法和设备

Publications (2)

Publication Number Publication Date
CN114898409A CN114898409A (zh) 2022-08-12
CN114898409B true CN114898409B (zh) 2022-09-30

Family

ID=82729347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210822911.7A Active CN114898409B (zh) 2022-07-14 2022-07-14 数据处理方法和设备

Country Status (1)

Country Link
CN (1) CN114898409B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011075890A1 (en) * 2009-12-23 2011-06-30 Nokia Corporation Method and apparatus for editing speech recognized text
CN104217626A (zh) * 2013-05-29 2014-12-17 刘潇炜 板书放大装置
WO2015175201A1 (en) * 2014-05-15 2015-11-19 Intel Corporation Content adaptive background-foreground segmentation for video coding
CN107155080A (zh) * 2016-09-06 2017-09-12 北京新学堂网络科技有限公司 一种模仿现场授课场景的课程视频制作方法
CN107481227A (zh) * 2017-07-27 2017-12-15 广州视源电子科技股份有限公司 教学板书图像处理方法、装置、智能教学设备及存储介质
CN108628940A (zh) * 2017-03-23 2018-10-09 卡西欧计算机株式会社 信息显示装置及其控制方法、信息显示终端及其控制方法以及记录介质
WO2019033659A1 (zh) * 2017-08-18 2019-02-21 广州视源电子科技股份有限公司 教学板书显示方法、装置、设备及计算机可读存储介质
CN109815852A (zh) * 2019-01-03 2019-05-28 深圳壹账通智能科技有限公司 智慧城市事件管理方法、装置、计算机设备和存储介质
CN109977731A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种场景的识别方法、识别设备及终端设备
CN110298343A (zh) * 2019-07-02 2019-10-01 哈尔滨理工大学 一种手写黑板板书识别方法
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN111008969A (zh) * 2019-12-06 2020-04-14 浙江蓝鸽科技有限公司 黑板板书提取与智能识别方法及系统
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
CN111246058A (zh) * 2020-01-03 2020-06-05 浙江广厦建设职业技术学院 一种可用于虚拟现实直播行业的可变焦全景摄像装置
CN111414114A (zh) * 2020-03-18 2020-07-14 北京星网锐捷网络技术有限公司 一种显示调整方法、装置、电子设备及存储介质
CN112507927A (zh) * 2020-12-16 2021-03-16 罗普特科技集团股份有限公司 一种板书内容自动生成方法和装置
CN112686253A (zh) * 2020-12-29 2021-04-20 安徽文香信息技术有限公司 一种用于电子白板的屏幕文字提取系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
KR20140081470A (ko) * 2012-12-21 2014-07-01 삼성전자주식회사 문자 확대 표시 방법, 상기 방법이 적용되는 장치, 및 상기 방법을 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
CN107533366B (zh) * 2015-04-20 2020-07-03 三菱电机株式会社 信息显示装置和信息显示方法
CN109218754A (zh) * 2018-09-28 2019-01-15 武汉斗鱼网络科技有限公司 一种直播中的信息显示方法、装置、设备及介质
CN109670500B (zh) * 2018-11-30 2024-06-28 平安科技（深圳）有限公司 一种文字区域获取方法、装置、存储介质及终端设备
CN111147768A (zh) * 2019-12-25 2020-05-12 北京恒峰致远科技有限公司 一种提高回看效率的智能监控视频回看方法
CN111462554A (zh) * 2020-04-22 2020-07-28 浙江蓝鸽科技有限公司 网上课堂视频知识点识别方法和装置
CN111767920B (zh) * 2020-06-30 2023-07-28 北京百度网讯科技有限公司 感兴趣区域的提取方法、装置、电子设备及存储介质
CN113763313A (zh) * 2021-04-30 2021-12-07 腾讯科技（深圳）有限公司 文本图像的质量检测方法、装置、介质及电子设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011075890A1 (en) * 2009-12-23 2011-06-30 Nokia Corporation Method and apparatus for editing speech recognized text
CN104217626A (zh) * 2013-05-29 2014-12-17 刘潇炜 板书放大装置
WO2015175201A1 (en) * 2014-05-15 2015-11-19 Intel Corporation Content adaptive background-foreground segmentation for video coding
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
CN107155080A (zh) * 2016-09-06 2017-09-12 北京新学堂网络科技有限公司 一种模仿现场授课场景的课程视频制作方法
CN108628940A (zh) * 2017-03-23 2018-10-09 卡西欧计算机株式会社 信息显示装置及其控制方法、信息显示终端及其控制方法以及记录介质
CN107481227A (zh) * 2017-07-27 2017-12-15 广州视源电子科技股份有限公司 教学板书图像处理方法、装置、智能教学设备及存储介质
WO2019033659A1 (zh) * 2017-08-18 2019-02-21 广州视源电子科技股份有限公司 教学板书显示方法、装置、设备及计算机可读存储介质
CN109977731A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种场景的识别方法、识别设备及终端设备
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN109815852A (zh) * 2019-01-03 2019-05-28 深圳壹账通智能科技有限公司 智慧城市事件管理方法、装置、计算机设备和存储介质
CN110298343A (zh) * 2019-07-02 2019-10-01 哈尔滨理工大学 一种手写黑板板书识别方法
CN111008969A (zh) * 2019-12-06 2020-04-14 浙江蓝鸽科技有限公司 黑板板书提取与智能识别方法及系统
CN111246058A (zh) * 2020-01-03 2020-06-05 浙江广厦建设职业技术学院 一种可用于虚拟现实直播行业的可变焦全景摄像装置
CN111414114A (zh) * 2020-03-18 2020-07-14 北京星网锐捷网络技术有限公司 一种显示调整方法、装置、电子设备及存储介质
CN112507927A (zh) * 2020-12-16 2021-03-16 罗普特科技集团股份有限公司 一种板书内容自动生成方法和装置
CN112686253A (zh) * 2020-12-29 2021-04-20 安徽文香信息技术有限公司 一种用于电子白板的屏幕文字提取系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Fusion of Three-frame Difference Method and Background Difference Method to Achieve Infrared Human Target Detection";Mengying Lei等;《2019 IEEE 1st International Conference on Civil Aviation Safety and Information Technology》;20191031;第2231-2235页 *
"一种新型的石油勘探开发指挥系统";吕志良;《石油勘探与开发》;19901231(第4期);第85-86页 *
"大屏幕人机互动中关键技术的分析研究";王占凤等;《淮北师范大学学报(自然科学版)》;20130930;第34卷(第3期);第58-61页 *
"新型电子黑板系统的开发";张智海;《实验科学与技术》;20110630;第9卷(第3期);第36-38页 *
"电视新闻节目中标题字幕的提取技术探索";刘元春等;《广电中心》;20081231(第11期);第91-94页 *
"自然场景中文字定位系统研究综述";季昊龙;《山东化工》;20181231;第47卷(第11期);第59-64页 *

Also Published As

Publication number Publication date
CN114898409A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN112261477B (zh) 视频处理方法及装置、训练方法和存储介质
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
CN105654471A (zh) 应用于互联网视频直播的增强现实ar系统及方法
CN110136166B (zh) 一种多路画面的自动跟踪方法
CN110933331A (zh) 教学视频的合成方法及系统
JP2019067130A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN112770042B (zh) 图像处理方法及装置、计算机可读介质、无线通信终端
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN111722964A (zh) 一种投屏延时的测试方法及终端
WO2021128593A1 (zh) 人脸图像处理的方法、装置及系统
CN114372990A (zh) 彻底抠除绿幕的图像合成方法、装置、设备及存储介质
CN110248207B (zh) 图像现实感展示服务器、展示方法和记录介质及展示系统
CN114898409B (zh) 数据处理方法和设备
US20230353702A1 (en) Processing device, system and method for board writing display
CN113110733A (zh) 一种基于远程双工的虚拟现场交互方法及系统
CN109871465B (zh) 一种时间轴计算方法、装置、电子设备及存储介质
CN107491934B (zh) 一种基于虚拟现实的3d面试系统
CN113365145B (zh) 视频处理、视频播放方法、装置、计算机设备及存储介质
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN114245193A (zh) 显示控制方法、装置和电子设备
CN112991147B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113643262A (zh) 一种无参考全景图像质量评价方法、系统、设备及介质
CN108805951B (zh) 一种投影图像处理方法、装置、终端和存储介质
CN116569191A (zh) 对情境注意特征和卷积特征的门控

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor.

Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd.

Address before: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor.

Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder