CN108632521A - 一种嵌入式qml图像采集预览花屏的处理方法 - Google Patents
一种嵌入式qml图像采集预览花屏的处理方法 Download PDFInfo
- Publication number
- CN108632521A CN108632521A CN201710166429.1A CN201710166429A CN108632521A CN 108632521 A CN108632521 A CN 108632521A CN 201710166429 A CN201710166429 A CN 201710166429A CN 108632521 A CN108632521 A CN 108632521A
- Authority
- CN
- China
- Prior art keywords
- preview
- qml
- image acquisition
- image
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000002344 surface layer Substances 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 238000011282 treatment Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013481 data capture Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
针对QML默认拍照预览组件进行图像采集时预览花屏的问题，实现了一种嵌入式QML图像采集预览花屏的处理方法，实现自定义拍照预览组件代替QML提供的默认拍照预览组件，图像预览采用OpenGL直接渲染由Surface层捕获的图像数据，同时提供图像采集的操作，不仅解决了原始组件预览花屏的现象，同时具备原始组件完整的功能，为QML框架应用过程中的组件缺陷而导致的问题提供了一种组件替换的技术。
Description
技术领域
本发明涉及QML嵌入式多媒体应用的各类技术领域，尤其涉及QML嵌入式图像采集预览领域。本技术实现自定义拍照预览组件，可完全代替QML提供的默认拍照预览组件，且不会出现预览花屏的问题。
背景技术
QML是移动互联领域集云端，桌面端，和移动端三端一体的应用开发框架，嵌入式图像采集是嵌入式领域多媒体应用以及模式识别等数据分析应用的基础技术，结合QML界面友好，用户控制简便的特点，QML图像采集在嵌入式领域有着广泛的应用。QML嵌入式图像采集使用QML提供的默认拍照预览组件为控制输入端，其成像控制简单，成像质量优异，但是由于渲染过程复杂，默认拍照预览组件成像预览存在严重的花屏问题，这在整体用户体验良好的QML软件中形成强烈的反差。因此，如何消除嵌入式QML图像采集花屏的现象，这是QML应用到嵌入式图像处理领域应予以考虑并解决的一个问题。
发明内容
本发明的目的是提供一种嵌入式QML图像采集预览花屏的处理方法解决QML默认拍照预览组件在图像采集过程中预览花屏的问题。
本发明的技术解决方案是：一种嵌入式QML图像采集预览花屏的处理方法，利用QML组件高度模块化的原则，以自定义拍照预览组件代替QML提供的默认拍照预览组件，完成图像预览，采集和控制的功能。
进一步改进在于自定义拍照预览组件包括摄像头模块，帧数据捕获模块，图像数据格式转换模块，预览显示模块，拍照控制模块共五个主要模块；分为组件初始化，摄像头启动，帧数据捕获，图像数据转换，纹理数据替换，图像预览，拍照控制共六个主要步骤进行。
本发明的具体实现流程为：
按照QML组件规范在C++层实现自定义拍照预览组件，在其内部完成各模块的初始化和协同，实现QML组件显示必备的更新绘图节点功能，完成经由摄像头传回的图像的显示预览。在QML层开放QML组件实例，暴露摄像头操作接口，包括启动摄像头，停止摄像头，摄像头拍照，图片旋转，图片缩放，图片融合，同时以信号的方式触发QML层的回调接口，包括摄像头错误处理，拍照错误处理，拍照完成处理，图片保存完成处理。
摄像头模块直接采用C++层提供的摄像头实例，在自定义拍照预览组件内部完成摄像头的初始化，启动，并且传回图像数据。
摄像头传回的图像数据由Surface层捕获，以AbstractVideoSurface为基础，实现帧数据捕获模块，该模块在自定义拍照预览组件内部初始化，并且以Viewfinder的形式设置给摄像头模块，摄像头模块启动后，其回传的图像数据以帧数据的格式被帧数据捕获模块所捕获。
由帧数据捕获模块捕获的帧数据是通用的视频像素格式，其与QML预览图片格式不协调，实现图像数据格式转换模块，完成像素格式到图片格式的转换，该模块在自定义拍照预览组件内部初始化，以内存映射的方式直接操作帧数据，按照数据位数，图像宽高等参数完成数据格式转换。
自定义拍照预览组件的界面显示需要由更新绘图节点来完成，实现预览显示模块，以OpenGL操作来更新绘图节点，该模块在自定义拍照预览组件内部完成初始化，获得以纹理节点形式存在的绘图节点，释放旧纹理数据，再把图像格式的数据设置到新的纹理表面，最后将纹理附着到绘图节点中，等待系统调用，完成绘图节点更新，显示预览的图像数据。
拍照控制模块主要用以完善自定义拍照预览组件的控制功能，其在定义拍照预览组件内部完成初始化，与摄像头模块完成绑定，向外提供开始拍照，拍照完成，图片保存完成以及拍照错误处理等接口，在这些接口内部实现时，均以信号的方式触发QML层的回调函数，将拍照结果以及错误的处理交由QML层来完成。
本发明的具体实现可以在任意支持QML的操作系统中进行，最终实现的方法即可作为独立存在的图像采集软件存在，也可以作为中间件嵌入到其它软件系统中使用，并且可以跨平台运行于不同操作系统中。
本发明的有益效果是：实现定义拍照预览组件，其可运行于普通桌面操作系统，也可运行于嵌入式操作系统，且可解决QML默认拍照预览组件在嵌入式操作系统中预览花屏的问题，这就为QML应用于嵌入式平台消除了图像预览方面的技术障碍。
附图说明
图1是本发明实施例一种嵌入式QML图像采集预览花屏的处理方法的模块架构的说明框图。
图2是本发明实施例中数据流走向的说明框图。
图3是本发明实施例中信号触发流程的说明框图。
图4是本发明实施例中图像数据捕获预览流程的说明框图。
图5是本发明实施例应用于实时人脸识别的说明框图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
如图1所示，一种嵌入式QML图像采集预览花屏的处理方法，以自定义拍照预览组件102代替QML默认拍照预览组件，其输入为采集对象101，输出到预览界面108，其内部结构为，摄像头模块103，帧数据捕获模块104，图像数据格式转换模块105，预览显示模块106，拍照控制模块107，上述各个模块按照数据流走向连接，自定义拍照预览组件102向外提供QML层调用接口109和QML层回调接口110。
如图2所示，所述数据流走向为：采集对象201，经摄像头后转换为图像数据202，再以帧数据203被捕获，转换成RGB32数据204，设置成纹理数据205，被OpenGL取成显示数据206，最终在预览界面207显示。
如图3所示，所述信号触发流程为：摄像头模块301拍摄到图像后，即发出图像数据回调信号302，触发帧数据捕获模块303发出帧数据信号304，触发预览显示模块305发出刷新绘图节点信号306，最后在预览界面307显示预览图像，摄像头模块301发出摄像头错误信号308，触发QML层回调信号315，最终触发QML层回调接口316的摄像头错误接口；拍照控制模块309被上层调用后，发出拍照完成信号310，图片保存完成信号311，拍照错误信号312，触发QML层回调信号315，最终触发QML层回调接口316的拍照完成，拍照错误，图片保存完成接口。
如图4所示，所述图像数据捕获预览流程为：程序开始运行401，完成初始化402，包括摄像头模块，帧捕获模块，图像转换模块，预览显示模块，拍照控制模块的初始化，之后进入伺服状态414，同时启动摄像头403，判断摄像头错误404，如果正常，则图像数据经由摄像头输入，同时出触发图像数据回调405，进而触发帧数据捕获407，帧数据捕获模块不对帧数据做处理，立即发出帧数据信号408，触发图像数据转换模块进行图像数据转换409，转换完毕发出刷新绘图节点信号410，进行绘图节点刷新，替换OpenGL显存的纹理数据411，等待OpenGL取出纹理数据412，进行图像预览413；如果摄像头出现错误，则发出信号触发上层的回调处理406。程序进入伺服状态414后，提供三类操作，包括摄像头控制415，图像处理417，拍照控制421，摄像头控制415包括启动摄像头403和停止摄像头416；图像处理417包括图像融合418，图像旋转419和图像缩放420；拍照控制421主要用于拍照，之后判断拍照错误与否422，如果有误，则发出信号触发上层的回调处理406，如果拍照完成423，则爆出图片424，之后发出信号触发上层的回调处理406。
以实时人脸识别应用为例，如图5所示：输入为待识别对象501，经过本发明专利所述的自定义拍照预览组件502，进行消除花屏的图像预览503，同时完成图像采集504，最后通过识别算法505进行人脸识别应用。
Claims (5)
1.一种嵌入式QML图像采集预览花屏的处理方法，其特征在于：自定义拍照预览组件代替QML提供的默认拍照预览组件，图像预览采用OpenGL直接渲染由Surface层捕获的图像数据，最大限度降低图像采集预览过程的复杂度。
2.如权利要求1所述的嵌入式QML图像采集预览花屏的处理方法，其特征在于由Surface层捕获的每一帧图像数据都转换成适配QML底层处理的数据格式。
3.如权利要求1所述的嵌入式QML图像采集预览花屏的处理方法，其特征在于利用OpengGL纹理的双缓存技术，不断替换刷新预览显存区域的数据。
4.如权利要求1所述的嵌入式QML图像采集预览花屏的处理方法，其特征在于自定义拍照预览组件以符合QML组件规范实现图像预览，同时对外提供图像采集功能。
5.如权利要求1所述的嵌入式QML图像采集预览花屏的处理方法，其特征在于QML组件替换技术可用于解决其它QML默认组件存在的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710166429.1A CN108632521A (zh) | 2017-03-20 | 2017-03-20 | 一种嵌入式qml图像采集预览花屏的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710166429.1A CN108632521A (zh) | 2017-03-20 | 2017-03-20 | 一种嵌入式qml图像采集预览花屏的处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108632521A true CN108632521A (zh) | 2018-10-09 |
Family
ID=63687067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710166429.1A Pending CN108632521A (zh) | 2017-03-20 | 2017-03-20 | 一种嵌入式qml图像采集预览花屏的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108632521A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814024A (zh) * | 2009-10-23 | 2010-08-25 | 深圳创维－Rgb电子有限公司 | 一种跨平台3d界面设计架构和工具 |
| CN102214102A (zh) * | 2011-07-06 | 2011-10-12 | 上海智翔信息科技股份有限公司 | 一种移植qt到arm的系统 |
| CN102567025A (zh) * | 2011-12-29 | 2012-07-11 | 深圳Tcl新技术有限公司 | 基于qt的2d/3d的图形绘制方法及装置 |
| CN105787464A (zh) * | 2016-03-18 | 2016-07-20 | 南京大学 | 一种大量图片在三维场景中的视点标定方法 |
-
2017
- 2017-03-20 CN CN201710166429.1A patent/CN108632521A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814024A (zh) * | 2009-10-23 | 2010-08-25 | 深圳创维－Rgb电子有限公司 | 一种跨平台3d界面设计架构和工具 |
| CN102214102A (zh) * | 2011-07-06 | 2011-10-12 | 上海智翔信息科技股份有限公司 | 一种移植qt到arm的系统 |
| CN102567025A (zh) * | 2011-12-29 | 2012-07-11 | 深圳Tcl新技术有限公司 | 基于qt的2d/3d的图形绘制方法及装置 |
| CN105787464A (zh) * | 2016-03-18 | 2016-07-20 | 南京大学 | 一种大量图片在三维场景中的视点标定方法 |
Non-Patent Citations (3)
| Title |
|---|
| ITKEYWORD: "Q头Quick基础教程（四）-场景渲染（Scene Graph）", 《HTTP://WWW.ITKEYWORD.COM/DOC/2727055150602644619/QML-SCENEGRAPH-QTQUICK》 * |
| 熊熊爱考拉: "OpenGL中实现双缓冲技术的方法", 《HTTPS://BLOG.CSDN.NET/WENCENG9/ARTICLE/DETAILS/17075371》 * |
| 疯子痞: "一个菜鸟的QT学习笔记", 《HTTPS://BLOG.CSDN.NET/ERICYAN6143/ARTICLE/DETAILS/53455330》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11218649B2 (en) | Photographing method, apparatus, and device | |
| CN106851386B (zh) | 基于Android系统的电视终端中增强现实的实现方法及装置 | |
| CN104270597B (zh) | 在通话期间建立视频会议 | |
| TWI418210B (zh) | 避免快門延遲之影像擷取模組及影像擷取方法 | |
| US8068693B2 (en) | Method for constructing a composite image | |
| US7990421B2 (en) | Arrangement and method relating to an image recording device | |
| CN107911682B (zh) | 图像白平衡处理方法、装置、存储介质和电子设备 | |
| CN108848354B (zh) | 一种vr内容摄像系统及其工作方法 | |
| CN103841326B (zh) | 拍摄录像的方法及装置 | |
| CN110505411A (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
| CN104754196B (zh) | 电子装置及方法 | |
| US20150288880A1 (en) | Image capturing method and image capturing apparatus | |
| US20080136942A1 (en) | Image sensor equipped photographing apparatus and picture photographing method | |
| CN103096094A (zh) | 视觉识别装置和方法 | |
| US8624989B2 (en) | System and method for remotely performing image processing operations with a network server device | |
| CN109769143A (zh) | 视频图像处理方法、装置、视频系统、设备和存储介质 | |
| TWI282948B (en) | Method for monitoring a large-range environment based on reference frames comparison | |
| CN107197140A (zh) | 获取数字图像的方法、系统 | |
| CN101227568B (zh) | 视频图像的特效变换方法 | |
| CN105472263B (zh) | 影像撷取方法及使用此方法的影像撷取设备 | |
| WO2022111717A1 (zh) | 图像处理方法、装置及电子设备 | |
| CN111432121A (zh) | 生成方法、电子装置和存储介质 | |
| CN108632521A (zh) | 一种嵌入式qml图像采集预览花屏的处理方法 | |
| CN101583010A (zh) | 图像处理方法及图像处理系统 | |
| CN103713729B (zh) | 人机交互系统及红外影像捕捉装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181009 |