CN109543530B - 一种板书位置检测方法、存储介质及系统 - Google Patents

一种板书位置检测方法、存储介质及系统 Download PDF

Info

Publication number
CN109543530B
CN109543530B CN201811222453.3A CN201811222453A CN109543530B CN 109543530 B CN109543530 B CN 109543530B CN 201811222453 A CN201811222453 A CN 201811222453A CN 109543530 B CN109543530 B CN 109543530B
Authority
CN
China
Prior art keywords
blackboard
picture
processed
writing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811222453.3A
Other languages
English (en)
Other versions
CN109543530A (zh
Inventor
吴丽
翁温民
刘梅英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN201811222453.3A priority Critical patent/CN109543530B/zh
Publication of CN109543530A publication Critical patent/CN109543530A/zh
Application granted granted Critical
Publication of CN109543530B publication Critical patent/CN109543530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Drawing Aids And Blackboards (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种板书位置检测方法、存储介质及系统，其中方法包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；对全景图进行中值滤波，从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；对二值图进行开运算，过滤二值图中的小区块；对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。以解决在现有技术中对于课堂录像中画面调整不够智能化的问题。

Description

一种板书位置检测方法、存储介质及系统
技术领域
本发明涉及自动化图像检测领域，尤其涉及一种摄录课堂中的板书位置的检测方法、存储介质及系统。
背景技术
在现在的智能课堂等应用场景下，教师的教学内容需要实时录制，同时摄录课堂情况，摄录视频能够用于网络推广等等。为了达到更好的课程使用效果，目前的技术手段中，市面上的录播主机大多都需要一个专门的板书摄像头，用来对准板书位置获取板书区域的图像。后续课程制作的时候再对多摄像机的内容进行剪辑。这导致了不仅在硬件上要设置多个摄像头增加了成本，也提高了录播系统安装部署的难度，需要根据每个教室中板书的具体位置去选定板书摄像头的安装位置。
如果直接运用现有技术进行软件处理，在自动化图像检测板书位置时，如果直接在教室全景图中进行检索，所需要的计算量较大，在较为复杂的场景下容易出现误检或漏检，可能会导致录播系统录制到无用画面。
发明内容
为此，需要提供一种基于教师位置判断的板书位置检测方法，以解决在现有技术中对于课堂录像中画面调整不够智能化的问题；
为实现上述目的，发明人提供了一种板书位置检测方法，包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；
对全景图进行中值滤波，
从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；
对二值图进行开运算，过滤二值图中的小区块；
对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。
具体地，所述待处理画面来源于摄像机，包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。
可选地，还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。
进一步地，所述中值滤波为，用全景图中像素点邻域矩阵的中值来代替该像素点的值。
一种板书位置检测存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；
对全景图进行中值滤波，
从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；
对二值图进行开运算，过滤二值图中的小区块；
对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。
具体地，所述待处理画面来源于摄像机，所述计算机程序被运行时还执行包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。
可选地，还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。
优选地，所述中值滤波具体执行，用全景图中像素点邻域矩阵的中值来代替该像素点的值。
一种板书位置检测系统，包括计算机，所述计算机的存储部件包括上述的存储介质。
在本发明方案的一些具体实施例中，板书可以指以教师为前景的背景板或及其展示的文字、图样、符号等，例如黑板、演示文稿、幻灯片，无论是否有具体内容，均可以视为板书。
通过上述方法，本发明能够在教师走到黑板前的某些特定位置时，进行图像处理及识别，通过虚化板书内容，通过对人像识别之后根据特定位置的像素作为目标点二值化摄制图像，从而能够在设置图像中达到判断人像是否位于板书内容前方的技术效果。最终能够利用判断结果进行摄制内容的优化控制。
附图说明
图1为本发明具体实施方式所述的板书位置检测方法流程图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，介绍了一种板书位置检测方法，包括如下步骤，S100获取待处理画面，所述待处理画面包括人物影像及背景；在这些实施例中，人物可以为板书前的讲师。
S102对全景图进行中值滤波，具体的中值滤波方法可以由技术人员根据需要自行确定具体的参数值，而较为一般的做法，我们可以用像素点邻域矩阵的中值来代替该像素点的值，过滤掉噪声，邻域的大小可以根据需要选取、优化。通过设计全景图中值滤波步骤能够模糊板书上字迹的效果，使得板书内部信息更为连续，便于后续板书位置的识别和板书特征标识的提取。
S104从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图。在一些实施例中，我们采取的做法是，选取教师当前所在位置的背景中的三个像素点(三个点：影像识别后的教师影像头顶中部、左右肩膀边界处，向上方若干像素值取点)作为目标点。设置一个阈值，遍历全景图中的每个像素点，如果该点的Y、U、V颜色分量至少与其中两个目标点(两个目标点必须包含头顶中部那点)的差值均小于设定的阈值，则将该点所在的位置记为255，否则记为0。从而得到一幅二值图，白点表示全景图中该位置与教师所在位置的背景点颜色相近。
而另一些简化了的做法中，可以选取一个或两个像素点，作为目标点，当然基于实际情况考虑，黑板的设计一般都高于老师，因此教师头顶上方点为最优选点，其讲课或写板书时该点大概率位于黑板位置，当然也可以进行排错步骤，判断教师图像高度值最高的像素点不在黑板内的时候无论其他步骤结果如何，均不进行对黑板区域的缩放聚焦，从而防止聚焦之后摄录不到教师的影像。在确定头顶上方的点之后，可以另选一个点同时作为目标点，也可以不选。再确定阈值，遍历全景图中的每个像素点，当该点的颜色分量与目标点的差值小于阈值是，则将该点所在的位置记为255，否则记为0。从而得到二值图。以便后续步骤的处理。
在图1所示的实施例中，继续进行步骤S106对二值图进行开运算，过滤二值图中的小区块，开运算是图像处理中的一种处理方式，我们可以用它来消除小物体，在纤细点处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积，从而达到除杂的处理效果。
后续进行步骤S108，对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。这里的预设形状可以为，看外接矩形形状是否符合预设的长宽比，因为对于特定的教室，特定的黑板或板书形状是固定的，因此可以根据具体的录制需要设定外接矩形的预设形状判断条件，从而提高在不同场景应用情景下本方法的普适性。进而提高本发明方法的实用性。通过上述步骤设计，本发明方案能够在图像处理的时候，先对图像进行初步处理，在对图像的初步处理结果进行矩形的识别，即能够对矩形是否是通常认识的黑板进行程式化的识别，从而达到对人像是否位于板书前方的识别，解决视频录制场景下人像位置的识别问题。
其他一些进一步的具体实施例中，所述待处理画面来源于摄像机的实时画面，意即对摄像机的实时画面进行实时解析，实时判断，根据判断结果再进行如下步骤，S110当判断人像位于板书前时，通知摄像机对板书位置进行特写。通过上述步骤设计，我们可以做到，在判断为人像在板书位置前的时候当即就推进摄像机的对焦和画面，从而解决对教师站位进行智能判断从而智能控制摄像机调整摄录画面的问题。当然可选的实施例中，我们的待处理画面若非来源于实时的摄录画面，而是预制的录像时，则当判断人像位于板书前时，可以采取其他响应步骤，比如对其他判定为非板书区域的画面进行裁剪，再将裁剪过的录像接入原始录像等等，或其他根据实际情况确定的响应步骤，均可以更好地对板书部分的影像进行摄录或制作。达到更好地制备教室相关视频的效果。
在其他一些可选的实施例中，为了更好地进行板书区域位置的判断，使得判断成功率得到提高，我们的方案中还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。具体可以包括步骤，选取教师头顶中部的该目标点，作为区域生长算法步骤中的生长种子点(基于前文所述的原因，优选目标点包括教师头顶中部的点)，通过区域生长算法求出该点所在的连通域，即为目标连通域。目标连通域的选取则能够排除整个教室画面的二值图中其他与板书无关的部分的干扰，如课堂中可能存在的其他矩形如书本、桌面等等。提高本方法在课堂情景应用下的适用性。
综上，本发明方法可以利用现有识图技术的判断结果，根据老师影像当前的位置信息展开计算，比起在一些直接检索板书的算法大大减小了计算量。
本发明方案可以通过反复使用S100-S110进行动态检测的方案，在板书可以移动的某些大学教室场景下，也能够重新检测到移动后的板书位置。而且在我们的检测得到的板书位置总是包含教师当前所在位置，即便出现误检的情况，摄像头仍然会给到老师，不会录制下无用画面。本发明方法解决了现有的智慧课堂智能摄制的程式化需求问题。
一种板书位置检测存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；
对全景图进行中值滤波，
从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；
对二值图进行开运算，过滤二值图中的小区块；
对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。
具体地，所述待处理画面来源于摄像机，所述计算机程序被运行时还执行包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。
可选地，还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。
优选地，所述中值滤波具体执行，用全景图中像素点邻域矩阵的中值来代替该像素点的值。
一种板书位置检测系统，包括计算机，所述计算机的存储部件包括上述的存储介质。计算机还通过控制单元与摄像机连接。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (7)

1.一种板书位置检测方法，其特征在于，包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；
对全景图进行中值滤波，
从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；
对二值图进行开运算，过滤二值图中的小区块，进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断；
对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。
2.根据权利要求1所述的板书位置检测方法，其特征在于，所述待处理画面来源于摄像机，包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。
3.根据权利要求1所述的板书位置检测方法，其特征在于，所述中值滤波为，用全景图中像素点邻域矩阵的中值来代替该像素点的值。
4.一种板书位置检测存储介质，其特征在于，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；
对全景图进行中值滤波，
从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；
对二值图进行开运算，过滤二值图中的小区块，进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断；
对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。
5.根据权利要求4所述的板书位置检测存储介质，其特征在于，所述待处理画面来源于摄像机，所述计算机程序被运行时还执行包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。
6.根据权利要求4所述的板书位置检测存储介质，其特征在于，所述中值滤波具体执行，用全景图中像素点邻域矩阵的中值来代替该像素点的值。
7.一种板书位置检测系统，其特征在于，包括计算机，所述计算机的存储部件包括权利要求4-6任一项所述的存储介质。
CN201811222453.3A 2018-10-19 2018-10-19 一种板书位置检测方法、存储介质及系统 Active CN109543530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811222453.3A CN109543530B (zh) 2018-10-19 2018-10-19 一种板书位置检测方法、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811222453.3A CN109543530B (zh) 2018-10-19 2018-10-19 一种板书位置检测方法、存储介质及系统

Publications (2)

Publication Number Publication Date
CN109543530A CN109543530A (zh) 2019-03-29
CN109543530B true CN109543530B (zh) 2020-11-06

Family

ID=65844365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811222453.3A Active CN109543530B (zh) 2018-10-19 2018-10-19 一种板书位置检测方法、存储介质及系统

Country Status (1)

Country Link
CN (1) CN109543530B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532980B (zh) * 2019-09-03 2021-09-17 海南阿凡题科技有限公司 复杂背景下基于颜色的书写痕迹提取方法、系统和装置
CN110933331B (zh) * 2019-12-06 2022-03-01 浙江蓝鸽科技有限公司 教学视频的合成方法及系统
CN111008969B (zh) * 2019-12-06 2023-07-18 浙江蓝鸽科技有限公司 黑板板书提取与智能识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
CN104574359A (zh) * 2014-11-03 2015-04-29 南京邮电大学 一种基于主从摄像机的学生跟踪定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
CN104574359A (zh) * 2014-11-03 2015-04-29 南京邮电大学 一种基于主从摄像机的学生跟踪定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《录播设备中的图像跟踪系统设计》;孙占鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180915(第09期);I138-200：第21-22页，第23页第1段，第34-36页3.4-3.5节，第5页1.3节 *
《高校全自动智能录播系统方案设计》;彭国建等;《中国现代教育装备》;20100410(第7期);第59-61页：第59页最后1段，第61页第1-2段 *

Also Published As

Publication number Publication date
CN109543530A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
US10389948B2 (en) Depth-based zoom function using multiple cameras
US9307134B2 (en) Automatic setting of zoom, aperture and shutter speed based on scene depth map
CN101246541B (zh) 图像处理设备和方法、图像拾取设备
CN109543530B (zh) 一种板书位置检测方法、存储介质及系统
US9129381B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
EP2076022B1 (en) Image capture device that records image accordant with predetermined condition and program
US9256928B2 (en) Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image
CN105469375B (zh) 处理高动态范围全景图的方法和装置
CN103929596A (zh) 引导拍摄构图的方法及装置
JP5818552B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2015180062A (ja) ビデオシーケンス処理方法及びビデオシーケンス処理装置
CN105825494A (zh) 一种图像处理方法及移动终端
GB2422739A (en) Sequentially displaying regions of interest in a captured ima ge according to saliency and size
CN104135612B (zh) 一种可调节拍摄主体位置的拍摄方法和拍摄装置
US9792698B2 (en) Image refocusing
JP6892524B2 (ja) 対象追跡に基づくスローモーションビデオキャプチャ
CN104145477B (zh) 调整颜色的方法及系统
CN106373139A (zh) 一种图像处理方法及装置
CN117041729A (zh) 拍摄方法、装置及计算机可读存储介质
US8885971B2 (en) Image processing apparatus, image processing method, and storage medium
US9094617B2 (en) Methods and systems for real-time image-capture feedback
US9716822B2 (en) Direction aware autofocus
CN112887610A (zh) 拍摄方法、装置、电子设备及存储介质
CN105467741A (zh) 一种全景拍照方法及终端
KR101613617B1 (ko) 디지털 영상 촬영 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China

Applicant after: Ruixin Microelectronics Co., Ltd

Address before: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China

Applicant before: Fuzhou Rockchips Electronics Co.,Ltd.

GR01 Patent grant
GR01 Patent grant