CN101175218B

CN101175218B - 在计算机装置中执行影像处理的方法及系统

Info

Publication number: CN101175218B
Application number: CN2006101427724A
Authority: CN
Inventors: 陈瑞明; 陈立明; 邓己正
Original assignee: Sunplus Technology Co Ltd
Current assignee: Sunplus Technology Co Ltd
Priority date: 2006-10-31
Filing date: 2006-10-31
Publication date: 2010-09-01
Anticipated expiration: 2026-10-31
Also published as: CN101175218A

Abstract

本发明提出一种在计算机装置中执行影像处理的方法及系统，其先由影像驱动单元从影像输入装置接收影像数据流，并对影像数据流执行前处理而获得彩色影像数据流。之后，影像处理模块使用一应用程序接口以通知影像驱动单元传送彩色影像数据流至该影像处理模块。影像处理模块对彩色影像数据流执行特定的影像处理，以产生处理影像数据流。影像处理模块以一应用程序接口通知影像驱动单元并传送该处理影像数据流至影像驱动单元，影像驱动单元对处理影像数据流执行后处理。由此，影像处理模块可运用使用者模式下的资源，来作复杂的影像处理运算。

Description

在计算机装置中执行影像处理的方法及系统

技术领域

本发明涉及影像处理及操作系统的技术，尤其涉及一种利用使用者模式中既有资源以执行影像处理的方法及系统。

背景技术

由于计算机摄影相机(PC Camera)价格便宜，几乎成为个人计算机或笔记型计算机的基本配备。因特网传讯(Internet Messenger)软件也通过计算机摄影相机而可实时传送影像，进而增添许多因特网传讯软件的应用。例如，将计算机摄影相机所撷取的影像与特殊背景结合或是计算机摄影相机所撷取的影像与使用者互动。

然而，在计算机摄影相机中，可在应用程序(Application program，AP)的层面将原始影像与背景结合、或是执行原始影像与使用者互动。图1是微软公司的Direct Show文件的示意图。如图1所示，在窗口驱动程序模型(Windows Driver Model，WDM)的影像撷取装置与影像显示卡中间，可以加入使用者定义且具有特殊效果的滤波器。如此，在计算机摄影相机撷取影像到显示卡输出前，可以在滤波器中加上特定的影像处理与运算，例如：变脸特效或是使用者想要的特效，进而达到预期的效果。

然而，上述方法中，应用程序必须在来源滤波器(Source Filter)与展现过滤波器(Render Filter)间，加入一个使用者定义的滤波器(如变脸的滤波器)。一般的因特网传讯软件(如MSN、Netmeeting、Amcap…)或是已经写好的应用程序并不会在相关的应用程序内加入这个使用者定义的滤波器，亦即无法使用这些功能。

为了要避免写在特殊应用程序、因特网传讯软件或是其它应用程序中不能使用使用者定义的滤波器的问题，另一种解决方法就是把特殊效果的滤波器放入到驱动程序中。这样由来源滤波器(Source Filter)输出的影像就是已经经过处理的影像，因特网传讯软件也就可以正确使用特殊效果的滤波器。图2是现有驱动程序使用特殊效果的滤波器的示意图。如图2所示，首先由一WDM撷取装置撷取一影像串流。该WDM撷取装置将所撷取的影像串流(video stream)经由一串流接口传给一核心模式驱动程序。核心模式驱动程序对该影像串流执行前处理。例如，使用者输入青蛙，使用者模式的应用程序将青蛙转换为Id＝1，并将该参数经由Property Set的应用程序接口传给该核心模式驱动程序。该核心模式驱动程序依据参数Id＝1，辨认Id＝1是背景图青蛙后，再撷取选取背景图“青蛙”，并将青蛙贴在背景上。最后该核心模式驱动程序执行后处理并将该处理后的影像串流传给使用者模式的应用程序。由此，因特网传讯软件也就可以对WDM撷取装置所送出的影像串流执行特殊效果。

然而，由于所有的影像特效处理均在核心模式下执行，因此无法利用使用者模式的资源，例如：位图(bitmap)放大、位图缩小及三维影像处理等。在使用者模式下已经有很多的软件可以供开发使用，例如：Direct 3D、Windows APIs，若只能在核心模式下执行影像特效处理将使得特效的运用受到限制。同时，在驱动程序完成时，其所具有的影像特殊效果均已固定。故每次增加、减少或修改影像特殊效果时，必须重新改写驱动程序，造成使用者需重新更新驱动程序，颇为麻烦。因此可知，现有影像驱动程序仍存有诸多的缺失而有予以改进的必要。

发明内容

本发明的一个目的在于提供一种在计算机装置中执行影像处理的方法及系统，从而在无须置换旧有影像输入装置的影像驱动单元来直接使用新的影像特效。

本发明的另一目的在于提供一种在计算机装置中执行影像处理的方法及系统，从而将影像处理由核心模式转至使用者模式，以运用使用者模式下的资源，来进行复杂的影像处理运算。

本发明的再一目的在于提供一种在计算机装置中执行影像处理的方法及系统，从而能执行影像处理并与因特网传讯软件软件完全兼容。

本发明提出一种在计算机装置中执行影像处理的方法，该计算机装置包括影像输入装置、影像驱动单元、影像处理模块及操作系统，该操作系统具有使用者模式及核心模式，该方法主要包括下列步骤：影像接收步骤、第一影像传送步骤、影像处理步骤、第二影像传送步骤。该影像接收步骤是由该影像驱动单元从该影像输入装置接收影像数据流，该影像驱动单元并对该影像数据流执行前处理，以获得彩色影像数据流；该第一影像传送步骤是由该影像驱动单元传送该彩色影像数据流至该影像处理模块，其中，该影像驱动单元执行于该核心模式，该影像处理模块系执行于使用者模式；该影像处理步骤是由该影像处理模块对该彩色影像数据流执行特定效果的影像处理，以产生处理影像数据流；该第二影像传送步骤是由该影像处理模块传送该处理影像数据流至该影像驱动单元，该影像驱动单元并对该处理影像数据流执行后处理。

本发明提出一种在计算机装置中执行影像处理的系统，该计算机装置包括具有使用者模式及核心模式的操作系统，该影像处理系统主要包括：影像输入装置、影像驱动单元、及影像处理模块。该影像输入装置具有一影像撷取装置及一连接接口，该影像撷取装置用以撷取影像数据流，该连接接口将该影像数据流传送至该影像驱动单元；该影像驱动单元可执行影像前处理及影像后处理，该影像驱动单元并对该影像数据流执行前处理，以获得彩色影像数据流，该影像驱动单元系执行于该核心模式；该影像处理模块耦合至该影像驱动单元，并对该彩色影像数据流执行特定效果的影像处理，以产生处理影像数据流，该影像处理模块系执行于前述使用者模式；其中，该影像处理模块将处理影像数据流传送至该影像驱动单元，该影像驱动单元并对该处理影像数据流执行后处理，并将后处理的该处理影像数据流传送至执行于使用者模式的应用程序。

附图说明

图1是微软公司的Direct Show文件的示意图。

图2是现有驱动程序使用特殊效果的滤波器的示意图。

图3是本发明在计算机装置中执行影像处理的系统的系统示意图。

图4是一贝尔(bayer)型式的彩色滤波数组及插值的示意图。

图5是本发明在计算机装置中执行影像处理的方法的流程图。

图6是本发明在计算机装置中执行影像处理的方法的示意图。

图7是本发明的影像驱动单元的部分程序代码的示意图。

图8是本发明在计算机装置中执行影像处理的方法的一实施例的示意图。

附图标记说明

影像输入装置 310 影像驱动单元 320

影像处理模块 330 操作系统 340

影像撷取装置 311 连接接口 312

影像感测装置 313 彩色滤波数组 314

应用程序 350

具体实施方式

图3是本发明在计算机装置中执行影像处理的系统的系统示意图。该计算机装置(图中未示)包括一具有一使用者模式及一核心模式的操作系统340，该操作系统340较佳为窗口2000或窗口XP等操作系统。该影像处理系统主要包括：一影像输入装置310、一影像驱动单元320、及一影像处理模块330。

该影像输入装置310具有一影像撷取装置311及一连接接口312。该影像撷取装置311由一影像感测装置313及一彩色滤波数组314(color filter array，CFA)所组成。该影像撷取装置311用以撷取一影像数据流(video stream)。

该连接接口312系将该影像输入装置310连接至该计算机装置，以将该影像数据流传送至该计算机装置。该连接接口312为下列其中之一：以太网络、无线以太网络、万用序列总线(USB)、无线万用序列总线(wireless USB)或1394序列总线。

该影像驱动单元320可执行一影像前处理及一影像后处理，其从该影像输入装置310接收该影像数据流，该影像驱动单元320并对该影像数据流执行前处理，以获得一彩色影像数据流，其中该影像驱动单元320系执行于该核心模式。

该影像驱动单元320执行之前处理主要是对影像数据流执行补点运算。图4是一贝尔(bayer)型式的彩色滤波数组314及插值的示意图，其排列的方式以一排GRGRGR，一排BGBGBG交互排列形成。彩色滤波数组314使得影像感测装置313的每一感光单元(photosite)仅获得红色、绿色或蓝色其中之一的色彩值。故需在该影像驱动单元320中，利用插值的方法为每一感光单元重建不存在的其它色彩值。

该影像处理模块330耦合至该影像驱动单元320，并对该彩色影像数据流执行特定效果的影像处理，以产生一处理影像数据流，该影像处理模块330执行在使用者模式。该影像处理模块330使用一KSproperty Get的应用程序接口(Application Programming Interface，API)以通知该影像驱动单元320，进而将该彩色影像数据流传送至该影像处理模块330。

该影像处理模块330执行特定效果的影像处理可为影像加强(image enhancement)、影像复原(image restoration)、影像分割(image segmentation)、影像特征撷取(image feature extraction)、影像边缘侦测(image edge detection)、影像变形处理(imagemorphological processing)、影像取代处理(image replacementprocessing)或影像融合处理(image merge processing)。

该影像处理模块330使用一KS property set的应用程序接口通知该影像驱动单元320，以接收该处理影像数据流。该影像处理模块330将该处理影像数据流传送至该影像驱动单元320，该影像驱动单元320并对该处理影像数据流执行后处理，并将该处理后的影像数据流传送至执行于使用者模式的应用程序350。该影像驱动单元320执行后处理可为影像亮度调整(image brightness processing)或影像边缘调整(image edge-enhance processing)。

图5是本发明在计算机装置中执行影像处理的方法的流程图。图6是本发明在计算机装置中执行影像处理的方法的示意图。该计算机装置包括一影像输入装置310、一影像驱动单元320、一影像处理模块330及一操作系统340，该操作系统340具有一使用者模式及一核心模式。如图5所示，首先，该影像驱动单元320从该影像输入装置310接收一影像数据流(步骤S510)，该影像驱动单元320并对该影像数据流执行前处理，以获得一彩色影像数据流(步骤S520)。

该影像驱动单元320执行之前处理主要是对影像数据流执行补点运算，其利用插值的方法为将影像输入装置中的影像感测装置的每一感光单元重建不存在的其它色彩值。

在步骤S530中，该影像处理模块330使用一KS property Get的应用程序接口以通知该影像驱动单元320，以将该彩色影像数据流传送至该影像处理模块330。当该影像处理模块330传送KS property Get的应用程序接口进入该影像驱动单元320，会触发Ks property的事件(Event)。而后，该影像驱动单元320依据事件(Event)是Set或是Get，进而分别执行Set或Get函式。故当该影像处理模块330使用一KSproperty Get的应用程序接口以通知该影像驱动单元320时，该影像驱动单元320执行其内部的Get函式，将该彩色影像数据流放至共享内存，以供该影像处理模块330使用，其中，该影像驱动单元320系执行在该核心模式，该影像处理模块330系执行在使用者模式。

在步骤S540中，该影像处理模块330对该彩色影像数据流执行特定效果的影像处理，以产生一处理影像数据流。由于该影像处理模块330是执行在使用者模式，故其可利用使用者模式下已开发的软件(例如：Direct 3D、Windows APIs)执行影像特效处理，而避免现有技术在核心模式下执行影像特效处理将使得特效的运用受到限制的问题。该影像处理模块330执行特定的影像处理可为影像加强、影像复原、影像分割、影像特征撷取、影像边缘侦测、影像变形处理、影像取代处理或影像融合处理。

在步骤S550中，当该影像处理模块330对该彩色影像数据流执行完特定的影像处理后，该影像处理模块330使用一KS property Set的应用程序接口通知该影像驱动单元320，以接收处理影像数据流。该影像处理模块330传送该处理影像数据流至该影像驱动单元320，该影像驱动单元320并对该处理影像数据流执行后处理(在步骤S560)。当该影像处理模块330使用一KS property Set的应用程序接口以通知该影像驱动单元320时，该影像驱动单元320执行其内部的Set函式，以接收该处理影像数据流。

在步骤S560中，该影像驱动单元320对该接收的处理影像数据流执行后处理。该影像驱动单元320执行后处理步骤为影像亮度调整或影像边缘调整。

在步骤S570中，该影像驱动单元320将该后处理的影像数据流传送至执行在使用者模式的应用程序。

图7是本发明的影像驱动单元320的部分程序代码的示意图。为说明方便，在程序代码前加列号，该列号并非该程序的一部份。如图7所示，在列140~150处，该影像驱动单元320定义两个图框缓冲器(frame buffer)：Video_Frame_IN、Video_Frame_OUT。该两个图框缓冲器的大小均为640*480。

在列160~200处，该影像驱动单元320宣告一个My_Property的结构。该My_Property的结构是影像驱动单元320与该影像处理模块330共享的结构。影像驱动单元320与影像处理模块330通过这个使用者定义的KS PROPERTY结构来相互沟通。因为要在影像驱动单元320与该影像处理模块330之间传送影像，因此一缓冲器(My_Image)大小定义为640*480，并增加一个致能/禁能(enable/disable)的开关。

在列370~480处，该影像驱动单元320定义一个事件处理函数EVENT(SRB)。当该影像处理模块330使用一KS property Get的应用程序接口时，该操作系统340依据该KS property Get的应用程序接口而传送一个相关的SRB_GET_DEVICE_PROPERTY至该影像驱动单元320。该影像驱动单元320则呼叫EventPropertyGet()函数，以将影像数据由该影像驱动单元320拷贝到一共享区，而完成GET动作(列250~280)。当该影像处理模块330使用一KS property Set的应用程序接口时，该操作系统340依据该KS property Set的应用程序接口而传送一个相关的SRB_SET_DEVICE_PROPERTY至该影像驱动单元320。该影像驱动单元320则呼叫EventPropertySet()函数，以将影像数据由一共享区拷贝到该影像驱动单元320，而完成SET动作(列210~240)。

在列290~360处，该影像驱动单元320定义一影像处理函数Video()。每当影像数据流由该影像输入装置310输入后，到输出至使用者模式的应用程序350前，该影像驱动单元320会先执行函数Video()来做影像处理。该影像输入装置310传入该影像驱动单元320以指标IN代表，该影像驱动单元320准备输出至AP以指标用OUT来代表。

图8是本发明在计算机装置中执行影像处理的方法的一实施例的示意图。首先，在步骤S710中，该影像驱动单元320从该影像输入装置310接收一影像数据流，该影像驱动单元320并对该影像数据流执行前处理(步骤S720)，以获得一彩色影像数据流。

在步骤S730中，该影像处理模块330使用一KS property Get的应用程序接口以通知该影像驱动单元320，以将该彩色影像数据流传送至该影像处理模块330。在步骤S740中，该影像处理模块330接收彩色影像数据流，并依据一使用者的输入以执行特定效果的影像处理(步骤S750)。本实施例中，该使用者欲将一青蛙图像迭置在该影像数据流。使用者输入青蛙，该影像处理模块330将青蛙转换为Id＝1，依据参数Id＝1并辨认该参数Id＝1是背景图青蛙后，再撷取选取背景图“青蛙”，并将青蛙图像迭置在该影像数据流。

在步骤S760中，当该影像处理模块330将青蛙图像迭置在该影像数据流后，该影像处理模块330使用一KS property Set的应用程序接口通知该影像驱动单元320，以接收处理影像数据流。该影像处理模块330传送该处理影像数据流至该影像驱动单元320，该影像驱动单元并对该处理影像数据流执行后处理(步骤S770)。当该影像处理模块330使用一KS property Set的应用程序接口以通知该影像驱动单元320时，该影像驱动单元320执行其内部的Set函式，以接收该处理影像数据流。

由上述说明可知，根据本发明的技术，新的影像特效(SpecialEffect)可容易地通过网络下载到本发明的影像处理模块中使用。同时，且在无须置换旧有影像输入装置的影像驱动单元的条件下即可直接使用新的影像特效，并与MSN等因特网传讯软件完全兼容。本发明的技术在现有的驱动程序架构下，将特殊效果的滤波器于使用者模式下来实现(implement)，故可运用使用者模式下的资源，来进行复杂的三维影像运算。同时，由于使用者模式下的影像处理模块与影像驱动单元间的通讯协议已经确定，因此只要符合通讯协议规范，由网络下载新的特殊效果就能更容易增加至本发明的影像处理模块中。本发明的技术同时跳脱KS property的应用程序接口仅用于传送字节(bytes)的框架，将整张影像由核心模式传送至使用者模式、或是由使用者模式传送至核心模式，让影像数据流不再仅是在影像驱动单元320内处理完，而是利用使用者模式中丰富的资源，亦可来进行影像后处理，并将处理后的影像数据流，由影像驱动单元输出。

上述实施例仅为了方便说明而举例而已，本发明所主张的权利范围应以权利要求书所述为准，而非仅限于上述实施例。

Claims

1.一种在计算机装置中执行影像处理的方法，其特征在于，该计算机装置包括影像输入装置、影像驱动单元、影像处理模块及操作系统，该操作系统具有使用者模式及核心模式，该方法主要包括下列步骤：

影像接收步骤，是由该影像驱动单元从该影像输入装置接收影像数据流，该影像驱动单元并对该影像数据流执行前处理，以获得彩色影像数据流；

第一影像传送步骤，是由该影像驱动单元传送该彩色影像数据流至该影像处理模块，其中，该影像驱动单元执行在该核心模式，该影像处理模块执行在该使用者模式；

影像处理步骤，是由该影像处理模块对该彩色影像数据流执行特定效果的影像处理，以产生处理影像数据流；以及

第二影像传送步骤，是由该影像处理模块传送该处理影像数据流至该影像驱动单元，该影像驱动单元并对该处理影像数据流执行后处理；

其中，该影像处理模块系在该使用者模式下对该彩色影像数据流执行特定效果的影像处理。

2.根据权利要求1所述的计算机装置中执行影像处理的方法，其特征在于，还包括：

第三影像传送步骤，是由该影像驱动单元将该影像数据流执行后处理的输出传送至应用程序，其中，该应用程序执行在使用者模式。

3.根据权利要求2所述的计算机装置中执行影像处理的方法，其特征在于，该操作系统为窗口2000或窗口XP操作系统。

4.根据权利要求3所述的计算机装置中执行影像处理的方法，其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动单元，以将该彩色影像数据流传送至该影像处理模块。

5.根据权利要求4所述的计算机装置中执行影像处理的方法，其特征在于，该应用程序接口为KS property Get。

6.根据权利要求3所述的计算机装置中执行影像处理的方法，其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动单元，以接收该处理影像数据流。

7.根据权利要求6所述的计算机装置中执行影像处理的方法，其特征在于，该应用程序接口为KS property Set。

8.根据权利要求5所述的计算机装置中执行影像处理的方法，其特征在于，该影像处理模块执行前述特定效果的影像处理为影像加强、影像复原、影像分割、影像特征撷取、影像边缘侦测、影像变形处理、影像取代处理或影像融合处理。

9.根据权利要求7所述的计算机装置中执行影像处理的方法，其特征在于，该影像驱动单元对该影像数据流执行后处理为影像亮度调整或影像边缘调整。

10.根据权利要求1所述的计算机装置中执行影像处理的方法，其特征在于，该影像输入装置连接至该计算机装置，其利用以太网络、无线以太网络、万用序列总线、无线万用序列总线或1394序列总线。

11.一种在计算机装置中执行影像处理的系统，其特征在于，该计算机装置包括具有使用者模式及核心模式的操作系统，该影像处理系统主要包括：

影像输入装置，具有一影像撷取装置及一连接接口，该影像撷取装置用以撷取影像数据流；

影像驱动单元，用以影像前处理及影像后处理，其从该影像输入装置接收该影像数据流，该影像驱动单元并对该影像数据流执行前处理，以获得彩色影像数据流，该影像驱动单元系执行于该核心模式；以及

影像处理模块，其耦合至该影像驱动单元，并对该彩色影像数据流执行特定效果的影像处理，以产生处理影像数据流，该影像处理模块执行在使用者模式；

其中，该影像处理模块将处理影像数据流传送至该影像驱动单元，该影像驱动单元并对该处理影像数据流执行后处理，并将该影像数据流执行后处理的输出传送至一执行在使用者模式的应用程序。

12.根据权利要求11所述的计算机装置中执行影像处理的系统，其特征在于，该操作系统为窗口2000或窗口XP操作系统。

13.根据权利要求12所述的计算机装置中执行影像处理的系统，其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动单元，以将该彩色影像数据流传送至该影像处理模块。

14.根据权利要求13所述的计算机装置中执行影像处理的系统，其特征在于，该应用程序接口为KS property Get。

15.根据权利要求12所述的计算机装置中执行影像处理的系统，其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动单元，以接收处理影像数据流。

16.根据权利要求15所述的计算机装置中执行影像处理的系统，其特征在于，该应用程序接口为KS property Set。

17.根据权利要求12所述的计算机装置中执行影像处理的系统，其特征在于，该影像处理模块执行前述特定效果的影像处理为影像加强、影像复原、影像分割、影像特征撷取、影像边缘侦测、影像变形处理、影像取代处理或影像融合处理。

18.根据权利要求12所述的计算机装置中执行影像处理的系统，其特征在于，该影像驱动单元执行后处理为影像亮度调整或影像边缘调整。

19.根据权利要求12所述的计算机装置中执行影像处理的系统，其特征在于，该影像输入装置系经由下列其中之一连接至该计算机装置，其利用以太网络、无线以太网络、万用序列总线、无线万用序列总线或1394序列总线。