CN102843513B - 通过使用照相机识别目标的照相机装置以及方法 - Google Patents
通过使用照相机识别目标的照相机装置以及方法 Download PDFInfo
- Publication number
- CN102843513B CN102843513B CN201210212422.6A CN201210212422A CN102843513B CN 102843513 B CN102843513 B CN 102843513B CN 201210212422 A CN201210212422 A CN 201210212422A CN 102843513 B CN102843513 B CN 102843513B
- Authority
- CN
- China
- Prior art keywords
- camera
- arrange parameter
- preview image
- target
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本申请提供一种通过使用照相机识别目标的装置和方法,包括:从第一预览图像检测特征信息;将特征信息与阈值条件进行比较;当特征信息不满足阈值条件时,改变照相机设置参数;以及对于基于改变的照相机设置参数生成的第二预览图像执行目标识别。
Description
技术领域
本发明一般涉及识别通过使用照相机拍摄的图像中的目标的装置和方法,更具体地,涉及使用照相机提高目标识别的精确度的装置和方法。
背景技术
为了识别和跟踪拍摄的图像中的目标,目标的特征点(例如,边缘或角)被提取并且提取的特征点与从原始图像数据库(DB)提取的特征点进行比较。
然而,当因为输入图像太暗、照相机晃动、或图像之内的目标的大小太小所以边缘信息、目标边缘点(或角点)、或纹理量(即,特征点信息)不够时,目标的特征点的提取经常失败。
另外,因为预览图像集中于提高图像质量,所以传统的照相机装置的预览图像对于检测目标的特征点是不够的。例如,当照度(luminance)是常数时,确定ISO具有相同值,而不考虑输入图像的特性。然而,与具有丰富纹理的图像相比,当具有不足的纹理的图像被输入时,特征识别、跟踪和匹配能力大大降低。
发明内容
因此,已经做出本发明以解决现有技术中出现的上述问题,并且提供下述优点。
本发明的一方面将提供一种用于通过使用照相机设置参数提高输入图像中的目标识别和跟踪能力的方法。
本发明的另一方面将通过所提出的设置参数和控制方案以充分地保证目标的特征信息来提供用于识别和跟踪的优化设置,以便提高目标识别和跟踪能力。
根据本发明的一方面,提供一种通过使用照相机的识别目标的方法。所述方法包括:从第一预览图像检测特征信息;将特征信息与阈值条件进行比较;当特征信息不满足阈值条件时,改变照相机设置参数;以及对于基于改变的照相机设置参数生成的第二预览图像执行目标识别。
根据本发明的另一方面,提供一种用于识别目标的照相机装置。所述照相机装置包括:成像控制器,用于改变照相机设置参数;图像识别处理器,用于对于第一预览图像执行目标识别并且从第一预览图像检测特征信息;以及照相机设置参数控制器,用于将特征信息与阈值条件进行比较,以及当特征信息不满足阈值条件时控制成像控制器改变照相机设置参数。
附图说明
从下面结合附图的详细描述,本发明的特定示范性实施例的上述及其它方面、特征和优点将更加明显,其中:
图1是示出根据本发明的实施例的照相机装置的框图;
图2是示出根据本发明的实施例的照相机设置参数控制器的框图;
图3是根据本发明的实施例的ISO控制过程的流程图;
图4A和图4B示出根据本发明的实施例的、根据ISO改变的目标识别结果;
图5是示出根据本发明的实施例的自动聚焦(AF)控制过程的流程图;
图6是示出根据本发明的实施例的曝光控制过程的流程图;
图7A和图7B示出根据本发明的实施例的、根据曝光时间改变的目标识别结果;
图8是示出根据本发明的实施例的缩放控制过程的流程图;
图9A到图9C示出根据本发明的实施例的、根据缩放改变的目标识别结果;
图10是示出根据本发明的实施例的像素组合(binning)/子采样控制过程的流程图;
图11是示出根据本发明的实施例的边缘增强/噪声降低控制过程的流程图;以及
图12是示出根据本发明的实施例的用于边缘增强/噪声降低控制过程的表格的图。
具体实施方式
下面将参考附图详细描述本发明的多种实施例。虽然在下面的描述中讨论详细的特定要素,但是特定要素仅仅为一般理解,并且对本领域技术人员显而易见地是可以在本发明的技术精神和范围之内做出多种改变和修改。此外,省略公知功能和结构的详细描述以避免不必要地模糊本发明的主题。
在下文中,“特征信息”是指用于识别图像内的目标的可提取信息,即,关于特征的信息,通过该特征可以识别目标。例如,特征信息可以意指特征点的数目、特征点的强度、纹理量等等,并且特征点可以是边缘或角。
图1是示出根据本发明的实施例的照相机装置的框图。
参照图1,照相机装置,例如,具有照相机(或照相机模块)的移动终端包括成像单元110、图像识别处理器120、存储器130、显示单元140、照相机设置参数控制器150、输入单元160和成像控制器170。成像单元110形成对象的光学图像并将形成的光学图像检测为数字图像数据(即,原始图像数据)。虽然未在图1中示出,但是成像单元110可以包括用于形成对象的光学图像的镜头系统和用于将由镜头系统形成的光学图像检测为数字图像数据的、诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器这样的图像传感器。
成像单元110根据成像控制器170的控制信号来控制ISO、聚焦和曝光时间。
虽然未在图1中示出,但是成像单元110包括通用的图像信号处理器(ISP),并根据预设的预览设置参数(分辨率、噪声过滤和边缘增强)从原始图像数据生成预览图像数据。原始图像数据是指具有由图像传感器支持的全分辨率的、没有被后处理(滤波)过的图像数据。预览图像数据是指具有比原始图像数据低的分辨率的、已经经历后处理之后的图像数据。此外,原始图像数据和预览图像数据每个都包括连续图像帧。
图像识别处理器120从接收自成像单元110的预览图像数据识别目标(即,拍摄的对象),或者估计或跟踪目标的运动。此外,图像识别处理器120向照相机设置参数控制器150输出对于预览图像的目标识别结果。
显示单元140显示从图像识别处理器120接收到的预览图像数据。可替换地,显示单元140可以直接从成像单元110接收预览图像数据以显示接收到的预览图像数据而不经过图像识别处理器120。例如,液晶显示器(LCD)或触摸屏可以用作显示单元140。
输入单元160可以是包括控制按钮的触摸板和/或键盘。输入单元160向照相机设置参数控制器150提供用户输入信息。
成像控制器170根据从照相机设置参数控制器150输入的控制信号控制成像单元110的ISO、对焦和曝光时间。此外,成像控制器170可以向照相机设置参数控制器150输出成像单元110的照相机设置参数。
存储器130存储用于提供具有多种功能的应用以及与应用关联的图形用户接口(GUI)的图像、用户信息、与文档有关的数据库、驱动照相机系统所需的背景图像(菜单屏幕和备用屏幕)、操作程序等。此外,存储器130存储参考图像数据,诸如用户的脸以及参考图像数据的特征信息。虽然成像单元110、成像控制器170和照相机设置参数控制器150可以包括独立的存储器,但是存储器130可以由成像单元110、成像控制器170和照相机设置参数控制器150共享。
图2是示出根据本发明的实施例的照相机设置参数控制器的框图。
参照图2,照相机设置参数控制器150包括ISO控制确定器151、自动聚焦(AF)控制确定器152、曝光控制确定器153、缩放控制确定器154、像素组合/子采样控制确定器156、边缘增强/噪声降低控制确定器157和照相机设置参数确定器158。照相机设置参数控制器150接收来自成像控制器170的当前照相机设置参数、来自成像单元110的预览图像数据、由图像识别处理器120产生的图像识别结果、以及来自输入单元160的用户输入信息中的至少一个。照相机设置参数控制器150实现ISO、AF、曝光、缩放、像素组合/子采样以及边缘增强/噪声降低中的至少一个。
照相机设置参数确定器158选择照相机设置参数中的至少一个,并且改变选定的照相机设置参数。例如,当通过图像识别处理器120的图像识别结果不满意时,即,当包括在图像识别结果中的特征信息不满足(例如,通过数字、强度、量等定义的)预设阈值条件或特征点的数目和强度不满足预设阈值时,照相机设置参数确定器158基于照相机设置参数的预设选择次序(order)或识别结果选择将要改变的至少一个照相机设置参数。此外,照相机设置参数确定器158向成像控制器170输出改变了的照相机设置参数,成像控制器170根据该改变了的照相机设置参数改变成像单元110的设置。
图3是示出根据本发明的实施例的ISO控制过程的流程图,并且图4A和图4B示出根据本发明的实施例的根据ISO改变的目标识别结果。
图3中示出的ISO控制过程分析在低照度环境下识别预览图像之内的目标的能力,以增加图像传感器的增益直到图像传感器的增益达到期望的基准,这提高识别算法的能力。
参照图3,ISO控制确定器151在步骤S110中确定目标识别能力,并且当识别能力不理想时,在步骤S120中确定ISO控制值,并且在步骤S130中控制成像。当识别能力令人满意时,ISO控制过程结束。
具体地,在步骤S110中,ISO控制确定器151确定从图像识别处理器120接收到的识别结果的能力,即,识别结果是令人满意还是不理想。ISO控制确定器151基于通过识别结果识别的特征信息(例如,特征点的数目、边缘强度和匹配特征点的数目)来确定识别结果的能力。所述“匹配特征点”指的是识别的特征点当中与参考图像数据的预存储的特征点对应的特征点,并且“边缘强度”是指边缘的对比度状况,即,边缘的水平方向上的亮度差、边缘的垂直方向上的亮度差或它们之间的平均值。可替换地,ISO控制确定器151可以直接从图像识别处理器120接收关于识别能力是否令人满意的信息。
在步骤S120中,ISO控制确定器151基于识别结果确定ISO控制值(例如,图像传感器的增益)。
更具体地,图4A示出54个特征点和231个匹配特征点,其中ISO值是500,并且图4B示出62个特征点和369个匹配特征点,其中ISO值是800。此处,包括在存储在存储器130中的参考图像数据中的特征点的数目是1151。
例如,ISO控制确定器151可以确定作为照相机设置参数中的一个的ISO值为800。即,ISO控制确定器151将通过识别结果识别的特征点的数目、边缘强度和匹配特征点的数目与对应的阈值进行比较以计算期望的ISO值。
在步骤S130中,ISO控制确定器151向照相机设置参数确定器158发送确定的ISO控制值,照相机设置参数确定器158向成像控制器170发送接收到的ISO控制值。
虽然上面的示例描述ISO控制过程在步骤S130之后终止,但是步骤S110到S130可以重复直到从图像识别处理器120接收到的识别结果令人满意。在这种情况下,在每个重复步骤处的ISO控制值可以从当前ISO值增加某一量。
在低照度的环境,即,预览图像数据的总亮度很暗的环境中,ISO控制过程可以有效地应用,以使得当预览图像数据的总亮度低于预设亮度时照相机设置参数确定器158可以执行ISO控制过程。
图5是示出根据本发明的实施例的AF控制过程的流程图。
对于传统的照相机中的AF控制过程,计算图像之内的目标的对比度并且照相机使用计算的对比度进行聚焦。然而,图5中示出的AF控制过程提出一种方法,该方法在针对基于图像的识别服务操作AF或连续AF中,通过使用具有传统的对比度信息的目标的运动矢量方向信息来确定是否执行聚焦。
具体地,AF控制确定器152在步骤S210中确定目标识别能力,并且当识别能力不理想时,在步骤S220中计算运动矢量并且在步骤S230中确定目标方向。当目标沿前一图像帧的聚焦面的前方向或后方向移动了时,在步骤S240中AF控制确定器152控制成像,即,执行AF。当在步骤S210中识别结果令人满意时或者当在步骤S230中物体沿前一图像的聚焦面的上、下、左或右方向移动时,AF控制过程终止。
更具体地,在步骤S210中,AF控制确定器152确定从图像识别处理器120接收到的识别结果的能力,即,识别结果是令人满意还是不理想。如上所述,AF控制确定器152基于通过识别结果识别的特征信息确定识别结果的能力。可替换地,AF控制确定器152可以直接从图像识别处理器120接收关于识别能力是否令人满意的信息。
在步骤S220中,AF控制确定器152将当前图像帧与前一图像帧进行比较,并且确定前一图像帧的目标在当前图像帧中如何运动。通过运动矢量表示运动的度数(degree)。因为估计运动的方法是已知的,所以此处省略对该方法的详细描述。
在步骤S230中,AF控制确定器152确定所计算的目标的运动方向是横向还是纵向。即,AF控制确定器152确定目标是沿前一图像的聚焦面的上、下、左或右方向移动了,还是目标沿前一图像帧的聚焦面的前方向或后方向移动了。即,当当前图像帧的目标的大小等于前一图像帧的目标的大小时,目标沿横向移动了。当当前图像帧的目标的大小大于或小于前一图像帧的目标的大小时,目标沿纵向移动了。
在步骤S240中,AF确定器152确定执行AF并且向照相机设置参数确定器158发送执行命令。照相机设置参数确定器158向成像控制器170发送接收到的用于AF的执行命令。AF的执行命令的发送可以对应于将指示AF功能的激活/去激活的AF的开/关标记设置为开状态。
虽然图5示出AF控制过程在步骤S240之后终止,但是步骤S210到240可以重复直到从图像识别处理器120接收到的识别结果令人满意。
图6是示出根据本发明的实施例的曝光控制过程的流程图,并且图7示出根据本发明的实施例的根据曝光时间改变的目标识别结果。
具体地,当目标的运动较大时,图6中示出的曝光控制过程通过使用从预览图像之内的目标的特征点中获得的运动矢量信息来减小曝光时间以最小化模糊。此处,图像应仍然具有足够的亮度。
具体地,曝光控制确定器153在步骤S310中确定目标识别能力,并且当识别能力不理想时,在步骤S320中计算运动矢量并且在步骤S330中确定运动。当曝光控制确定器153确定物体已经运动时,在步骤S340中曝光控制确定器153确定亮度。当曝光控制确定器153确定图像帧的亮度大于阈值时,曝光控制确定器153在步骤S350中确定曝光时间的减少量,并且在步骤S360中控制成像(减少曝光时间)。当在步骤S310中识别结果令人满意时,当在步骤S330中确定没有运动时,或当在步骤S340中曝光控制确定器153确定图像帧的亮度不大于阈值时,曝光控制过程终止。
更具体地,在步骤S310中,曝光控制确定器153确定从图像识别处理器120接收到的识别结果的能力,即,识别结果是令人满意还是不理想。如上所述,曝光控制确定器153基于通过识别结果识别的特征信息来确定识别结果的能力,或者可以直接从图像识别处理器120接收关于识别是否令人满意的信息。
在步骤S320中,曝光控制确定器153将当前图像帧与前一图像帧进行比较,并且确定前一图像帧的目标在当前图像帧中是否运动。用运动矢量表示运动的度数。因为估计运动的方法是已知的,所以此处省略对该方法的详细描述。
在步骤S330中,曝光控制确定器153确定目标是否移动了。即,曝光控制确定器153将计算的运动矢量的大小与预设阈值进行比较。当运动矢量的大小大于阈值时,曝光控制确定器153确定目标移动了。当运动矢量的大小小于阈值时,曝光控制确定器153确定目标没有移动。可替换地,曝光控制确定器153可以将(运动矢量的大小/预览图像帧的大小)与预设阈值进行比较。
在步骤S340中,曝光控制确定器153将当前图像帧的亮度与预设阈值进行比较。当图像帧的亮度大于阈值时,曝光控制确定器153确定图像帧的亮度是亮。当图像帧的亮度小于阈值时,曝光控制确定器513确定图像帧的亮度是暗。
在步骤S350中,曝光控制确定器153基于目标在当前图像帧中是否移动(或者运动矢量的大小)了并且基于当前图像帧的亮度来确定曝光时间的减少量(即,帧率(每秒帧数的数目))。
图7A示出8个匹配特征点,其中帧率是30fps,并且图7B示出115个匹配特征点,其中帧率是60fps。此处,包括在存储在存储器130中的参考图像数据中的特征点的数目是1388。
例如,曝光控制确定器153可以确定帧率——作为照相机设置参数中的一个——为60fps。具体地,曝光控制确定器153将通过识别结果识别的特征点的数目、边缘强度和匹配特征点的数目与对应的阈值进行比较以计算期望的帧率。
在步骤S360中,曝光控制确定器153向照相机设置参数确定器158发送确定的帧率,并且照相机设置参数确定器158向成像控制器170发送接收到的帧率。
虽然图6示出曝光控制过程在步骤S360之后终止,但是步骤S310到S320可以重复直到从图像识别处理器120接收到的识别结果令人满意。例如,每个重复步骤中的帧率可以从当前帧率增加某一量。
图8是示出根据本发明的实施例的缩放控制过程的流程图,并且图9A到图9C示出根据本发明的实施例的根据缩放改变的目标识别结果。
参照图9A,用户选择显示在具有604*480分辨率的预览图像帧——例如,电影宣传画——之内的目标作为感兴趣区(ROI)。
参照图9B,感兴趣区自动地裁剪自具有大于640*480分辨率的全分辨率的原始图像帧。
参照图9C,裁剪的感兴趣区被扩大并显示(放大),并且执行对于该扩大的、显示的感兴趣区的目标识别。
参照图8,即使当在预览图像帧中可见的目标较小的时候,缩放控制过程使得识别也是可能的,因为缩放控制过程从具有全分辨率的原始图像帧获得感兴趣区。
在步骤S410中,缩放控制确定器154通过输入单元160确定是否存在与缩放控制过程的执行有关的用户输入。
当存在用户输入时,在步骤S420中,缩放控制确定器154确定裁剪状态是否对应于“1”。如位于图8的左上部分中的表格中所示,在初始状态或在缩放设置开始状态中,裁剪状态被设置为“0”;在缩放设置期间的状态中裁剪状态被设置为“1”,并且在缩放状态中或在缩放取消开始状态中裁剪状态被设置为“2”。在缩放设置开始状态中或者在缩放取消开始状态中输入状态被设置为“1”,并且在保持状态中输入状态被设置为“0”。
当裁剪状态不对应于“1”时,在步骤S430中输入状态被设置为“1”。
在步骤S440中,缩放控制确定器154确定裁剪状态和输入状态的值。
当裁剪状态和输入状态对应于(0,1)时执行步骤S450,当裁剪状态和输入状态对应于(1,0)时执行步骤S470,并且当裁剪状态和输入状态对应于(2,1)时执行步骤S510。
在步骤S450中,缩放控制确定器154将裁剪状态和输入状态设置为(1,0),并且在步骤S460中,当预览图像帧被改变为完整图像帧(即,原始图像帧)时,缩放控制确定器154计算感兴趣区的坐标和大小。例如,可以通过用户在触摸屏上的输入获得感兴趣区的坐标,可以通过(全分辨率/预览分辨率*(ROI大小+容限))来计算感兴趣区的大小。缩放控制确定器154然后向成像控制器170发送计算的感兴趣区的坐标和大小。
在步骤S470中,缩放控制确定器154确定从图像识别处理器120接收到的识别结果的能力,即,识别结果是令人满意还是不理想。如上所述,缩放控制确定器154基于通过识别结果识别的特征信息确定识别结果的能力。
当识别结果令人满意时,缩放控制确定器154在步骤S480中将裁剪状态设置为“2”。然而,当识别结果不理想时,缩放控制确定器154在步骤S490中存储在缩放控制处理期间识别不理想的数目。在步骤S500中,缩放控制确定器154将累积的识别不理想的数目与预设阈值进行比较。
当累积的识别不理想的数目大于预设阈值时,缩放控制确定器154在步骤S510中将裁剪状态和输入状态设置为(0,0),并且在步骤S520中设置成像控制器170以使得完整图像帧恢复为预览图像帧。此后,缩放控制确定器154向成像控制器170发送计算的感兴趣区的坐标和大小。
虽然图8示出当累积的不满意的数目小于或等于预设阈值时缩放控制过程终止,但是可替换地,缩放控制过程可以返回到步骤S410直到从图像识别处理器120接收到的识别结果令人满意或累积的识别不满意的数目大于预设阈值。
可替换地,可以在步骤S410之前添加确定目标识别能力,并且当识别结果失败时缩放控制过程可以自动地执行。在自动执行中,缩放控制确定器154可以执行与缩放控制过程的执行有关的指令(指示对于感兴趣区选择的指令消息和指示多个感兴趣区的选择备用)。
图10是示出根据本发明的实施例的像素组合/子采样控制过程的流程图。具体地,在图10中,当完整图像被调整大小为预览图像时,像素组合/子采样控制过程将像素组合和子采样的设定值设置为彼此不同,这增强边缘信息并提高识别能力。
参照图10,像素组合/子采样控制确定器156确定从图像识别处理器120接收到的识别结果的能力,即,识别结果是令人满意还是不理想。如上所述,像素组合/子采样控制确定器156基于通过识别结果识别的特征信息来确定识别结果的能力,或者可以直接从图像识别处理器120接收关于识别是否令人满意的信息。
当识别结果令人满意时像素组合/子采样控制过程终止。然而,当识别结果不理想时,即,包括在图像识别结果中的特征信息不满足预设阈值条件时,像素组合/子采样控制确定器156在步骤S620中确定像素组合/子采样方法。例如,像素组合/子采样控制确定器156的处理过程确定像素组合/子采样方法包括以下子步骤:
1.通过传统的像素组合方法,诸如平均像素组合(average binning)、总和像素组合(summing binning)和跳过(skipping)之类中的一个保证亮度,以改变原始图像的大小以便更容易地提取边缘。
2.在执行将大小已经改变的图像按比例缩小为具有实际的预览大小的图像中,根据识别能力结果,向大小已经改变的图像应用传统的子采样方法中的一个,诸如最近邻、双三次和双线性,以便更容易地提取边缘信息。
3.确定选择的传统的像素组合和子采样方法当中的最优方法。
像素组合/子采样控制确定器156可以基于识别结果确定像素组合和子采样方法。具体地,像素组合/子采样控制确定器156可以参考表格,并且从表格中选择与从识别结果获取的特征点的数目、边缘强度和匹配特征点的数目中的至少一个对应的像素组合和子采样方法。表格可以存储在存储器130中。
在步骤S630中,像素组合/子采样控制确定器156向照相机设置参数确定器158发送选定的像素组合和子采样方法,并且照相机设置参数确定器158向成像控制器170发送接收到的像素组合和二次采样方法。
虽然图10示出像素组合/子采样控制过程在步骤S630之后终止,但是步骤S610到S630可以重复直到从图像识别处理器120接收到的识别结果令人满意。在这种情况下,可以选择每个重复步骤中的不同的像素组合和二次采样方法的预设优先级或随机选择。
图11是示出根据本发明的实施例的边缘增强/噪声降低控制过程的流程图。具体地,图11中的边缘增强/噪声降低控制过程分析识别预览图像之内的目标的能力以增加边缘增强/噪声降低控制值直到边缘增强/噪声降低控制值达到期望基准,这提高识别算法的能力。
参照图11,在步骤S710中,边缘增强/噪声降低控制确定器157确定从图像识别处理器120接收到的识别结果的能力,即,识别结果是令人满意还是不理想。如上所述,边缘增强/噪声降低控制确定器157基于通过识别结果识别的特征信息来确定识别结果的能力,或者可以直接从图像识别处理器120接收关于识别是否令人满意的信息。
当识别结果令人满意时边缘增强/噪声降低控制过程终止。然而,当识别结果不理想时,即,包括在图像识别结果中的特征信息不满足预设阈值条件时,边缘增强/噪声降低控制确定器157在步骤S720中基于识别结果确定边缘增强/噪声降低控制值。例如,边缘增强/噪声降低控制确定器157可以参考表格,并且从表格中选择与从识别结果获取的特征点的数目、边缘强度和匹配特征点的数目中的至少一个对应的边缘增强/噪声降低控制值。
图12是示出根据本发明的实施例的用于边缘增强/噪声降低控制过程的表格的图。
参照图12,通过多个条件(条件A到E)对从识别结果识别的特征点的数目、边缘强度和匹配特征点的数目中的至少一个进行分类,并且存在与所述条件对应的边缘增强/噪声降低控制值的范围。
在步骤S730中,边缘增强/噪声降低控制确定器157向照相机设置参数确定器158发送确定的边缘增强/噪声降低控制值,照相机设置参数确定器158向成像控制器170发送接收到的边缘增强/噪声降低控制值。
虽然图11示出边缘增强/噪声降低控制过程在步骤S730之后终止,但是步骤S710到S730可以重复直到从图像识别处理器120接收到的识别结果令人满意。在这种情况下,在每个重复步骤中的边缘增强/噪声降低控制值可以从当前边缘增强/噪声降低控制值增加某一量。
此外,以上描述的本发明的实施例可以通过硬件以及硬件和软件的组合实现。例如,不考虑省略或重写的可能性,特定软件可以存储在诸如只读存储器(ROM),诸如随机访问存储器(RAM)的存储器之类的易失性的或非易失性存储器设备,存储芯片,设备或集成电路,以及诸如光盘(CD),数字化视频光盘(DVD)、磁盘、磁带等之类的光学或磁性地可记录和机器可读的存储介质中。可以包括在主机设备中的存储单元可以存储包括用于实现本发明的实施例的指令的程序,或者适合于存储程序的机器可读的存储介质。
尽管已经参考本发明的特定实施例对本发明进行了示出和描述,但是本领域技术人员应当理解,在不脱离由所附权利要求书所定义的本发明的精神和范围的情况下,可以对本发明做出形式和细节上的各种修改。
Claims (13)
1.一种通过照相机识别目标的方法,所述方法包括:
拍摄第一预览图像;
从第一预览图像检测特征信息;
将特征信息与阈值条件进行比较;
当特征信息不满足阈值条件时,基于多个照相机设置参数的预设选择次序从多个照相机设置参数当中选择照相机设置参数,改变所选择的照相机设置参数,根据改变的照相机设置参数拍摄后续预览图像,从基于改变的照相机设置参数生成的后续预览图像中检测后续特征信息,当后续特征信息满足阈值条件时对后续预览图像执行目标识别,以及当后续特征信息不满足阈值条件时重复所述选择、改变、拍摄、检测和比较步骤,
其中,当所选择的照相机设置参数与缩放控制相关时,改变所选择的照相机设置参数包括:
从预览图像帧中选择感兴趣区;以及
在原始图像帧中裁剪感兴趣区,
其中对于裁剪的感兴趣区执行目标识别。
2.如权利要求1所述的方法,其中所述特征信息包括匹配特征点的数目、边缘强度和纹理量中的至少一个。
3.如权利要求2所述的方法,其中所述匹配特征点是检测到的第一预览图像的特征点当中与预存储的参考图像的特征点对应的特征点。
4.如权利要求1所述的方法,其中,当所选择的照相机设置参数与ISO控制相关时,改变所选择的照相机设置参数包括:
基于所述特征信息的比较确定ISO控制值;以及
根据ISO控制值控制安装在照相机中的图像传感器的增益。
5.如权利要求1所述的方法,其中,当所选择的照相机设置参数与自动聚焦控制相关时,改变所选择的照相机设置参数包括:
计算图像帧中的目标的运动矢量;
确定目标的运动方向;以及
当目标的运动方向沿纵向时,执行自动聚焦处理。
6.如权利要求1所述的方法,其中,当所选择的照相机设置参数与曝光控制相关时,改变所选择的照相机设置参数包括:
计算图像帧中的目标的运动矢量;
当存在目标的运动时,确定图像帧的亮度;以及
当图像帧的亮度大于阈值时控制帧率。
7.如权利要求1所述的方法,还包括基于预设的照相机设置参数在显示器中显示第一预览图像。
8.一种用于识别目标的照相机装置,所述照相机装置包括:
成像单元,用于拍摄预览图像;
成像控制器,用于改变照相机设置参数;
图像识别处理器,用于检测特征信息和执行目标识别;以及
照相机设置参数控制器,用于控制所述成像单元拍摄第一预览图像,控制所述图像识别处理器从第一预览图像中检测特征信息;
将特征信息与阈值条件进行比较;以及
当特征信息不满足阈值条件时,基于多个照相机设置参数的预设选择次序从多个照相机设置参数当中选择照相机设置参数,控制所述成像控制器改变所选择的照相机设置参数,控制所述成像单元根据改变的照相机设置参数拍摄后续预览图像,控制所述图像识别处理器从基于改变的照相机设置参数生成的后续预览图像中检测后续特征信息,将所述后续特征信息与阈值条件进行比较,控制所述图像识别处理器当后续特征信息满足阈值条件时对后续预览图像执行目标识别,以及当后续特征信息不满足阈值条件时重复所述选择、控制所述成像控制器改变、控制所述成像 单元拍摄、控制所述图像识别处理器检测以及比较操作,
其中,当所选择的照相机设置参数与缩放控制相关时,所述照相机设置参数控制器包括缩放控制确定器,用于从预览图像帧选择感兴趣区并且在原始图像帧中裁剪感兴趣区,
其中所述图像识别处理器对于裁剪的感兴趣区执行目标识别。
9.如权利要求8所述的照相机装置,其中所述特征信息包括下述中的至少一个:
匹配特征点的数目;
边缘强度;以及
纹理量,以及
其中所述匹配特征点是检测到的第一预览图像的特征点当中与预存储的参考图像的特征点对应的特征点。
10.如权利要求8所述的照相机装置,其中,当所选择的照相机设置参数与ISO控制相关时,所述照相机设置参数控制器包括:
ISO控制确定器,用于基于所述特征信息的比较确定ISO控制值,
其中所述成像控制器基于ISO控制值控制安装在照相机装置中的图像传感器的增益。
11.如权利要求8所述的照相机装置,其中,当所选择的照相机设置参数与自动聚焦控制相关时,所述照相机设置参数控制器包括:自动聚焦控制确定器,用于计算图像帧中的目标的运动矢量,确定目标的运动方向,以及当目标的运动方向沿纵向时激活自动聚焦过程。
12.如权利要求8所述的照相机装置,其中,当所选择的照相机设置参数与曝光控制相关时,所述照相机设置参数控制器包括:曝光控制确定器,用于计算图像帧中的目标的运动矢量,确定图像帧的亮度,以及当图像帧的亮度大于阈值时确定帧率的控制值。
13.如权利要求8所述的装置,还包括:
成像单元,用于基于预设的照相机设置参数生成第一预览图像并且基于改变的照相机设置参数生成第二预览图像;以及
显示单元,用于显示第一预览图像和第二预览图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110060396A KR101822655B1 (ko) | 2011-06-21 | 2011-06-21 | 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템 |
KR10-2011-0060396 | 2011-06-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102843513A CN102843513A (zh) | 2012-12-26 |
CN102843513B true CN102843513B (zh) | 2017-09-22 |
Family
ID=46650337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210212422.6A Expired - Fee Related CN102843513B (zh) | 2011-06-21 | 2012-06-21 | 通过使用照相机识别目标的照相机装置以及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9071749B2 (zh) |
EP (1) | EP2538660A3 (zh) |
KR (1) | KR101822655B1 (zh) |
CN (1) | CN102843513B (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988578B2 (en) | 2012-02-03 | 2015-03-24 | Honeywell International Inc. | Mobile computing device with improved image preview functionality |
JP2014222447A (ja) * | 2013-05-14 | 2014-11-27 | ソニー株式会社 | 画像処理装置および方法 |
CN104881673B (zh) | 2014-02-28 | 2018-06-01 | 国际商业机器公司 | 基于信息整合的模式识别的方法和系统 |
KR102146858B1 (ko) | 2014-06-03 | 2020-08-21 | 삼성전자주식회사 | 촬영 장치 및 촬영 장치의 비디오 생성방법 |
KR101689665B1 (ko) * | 2014-07-04 | 2016-12-26 | 삼성전자 주식회사 | 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 |
TWI542224B (zh) * | 2014-09-22 | 2016-07-11 | 瑞昱半導體股份有限公司 | 影像訊號處理方法以及影像訊號處理裝置 |
US20160110791A1 (en) * | 2014-10-15 | 2016-04-21 | Toshiba Global Commerce Solutions Holdings Corporation | Method, computer program product, and system for providing a sensor-based environment |
KR102126370B1 (ko) * | 2014-11-24 | 2020-07-09 | 한국전자통신연구원 | 동작 인식 장치 및 방법 |
US10038836B2 (en) * | 2015-03-17 | 2018-07-31 | Mediatek Inc. | Automatic image capture during preview and image recommendation |
CN107637064A (zh) * | 2015-06-08 | 2018-01-26 | 深圳市大疆创新科技有限公司 | 用于图像处理的方法和设备 |
CN106454140B (zh) * | 2015-08-06 | 2019-06-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
KR20170046005A (ko) * | 2015-10-20 | 2017-04-28 | 삼성전자주식회사 | 얼굴 검출 방법 및 이를 지원하는 전자 장치 |
EP3358819B1 (en) | 2015-11-25 | 2021-09-15 | Huawei Technologies Co., Ltd. | Photographing method, photographing device and terminal |
CN105430287B (zh) * | 2015-12-30 | 2019-05-24 | Oppo广东移动通信有限公司 | 控制方法、控制装置及拍照系统 |
CN105704394B (zh) * | 2016-02-25 | 2018-07-24 | 广东欧珀移动通信有限公司 | 取样方法、控制方法、取样装置、控制装置及电子装置 |
KR101822169B1 (ko) * | 2016-03-11 | 2018-01-25 | 삼성전자주식회사 | 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 |
US10560636B1 (en) | 2017-03-24 | 2020-02-11 | Cisco Technology, Inc. | Crop synchronized auto focus and exposure |
CN108009998A (zh) * | 2017-11-27 | 2018-05-08 | 深圳大学 | 一种人物图像的构图裁剪方法、装置、设备及存储介质 |
CN107959767B (zh) * | 2017-12-14 | 2020-04-10 | 中国科学院长春光学精密机械与物理研究所 | 一种以电视跟踪结果为导向的调焦调光方法 |
WO2019160194A1 (ko) * | 2018-02-14 | 2019-08-22 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN108334770B (zh) * | 2018-03-06 | 2019-01-29 | 石家庄裕兆科技有限公司 | 移动终端安全防护系统 |
US11070729B2 (en) * | 2018-07-27 | 2021-07-20 | Canon Kabushiki Kaisha | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus |
US10863097B2 (en) * | 2018-08-21 | 2020-12-08 | Gopro, Inc. | Field of view adjustment |
US11082620B2 (en) * | 2018-09-26 | 2021-08-03 | Qualcomm Incorporated | Zoomed in region of interest |
CN111385484B (zh) * | 2018-12-28 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 信息处理方法和装置 |
CN109654997B (zh) * | 2019-02-01 | 2020-10-30 | 河南科技大学 | 一种基于机器视觉的穴盘孔精准定位装置及方法 |
CN113411528B (zh) * | 2019-02-28 | 2022-10-11 | 华为技术有限公司 | 一种录像帧率的控制方法、终端及存储介质 |
CN111726541A (zh) * | 2019-03-21 | 2020-09-29 | 北京猎户星空科技有限公司 | 一种拍摄参数的确定方法、装置、设备及介质 |
KR102228047B1 (ko) * | 2020-06-30 | 2021-03-16 | (주)포미트 | 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법 |
KR20220159131A (ko) * | 2021-05-25 | 2022-12-02 | 삼성전자주식회사 | 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법 |
US20220414935A1 (en) * | 2021-06-03 | 2022-12-29 | Nec Laboratories America, Inc. | Reinforcement-learning based system for camera parameter tuning to improve analytics |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1716281A (zh) * | 2005-06-29 | 2006-01-04 | 上海大学 | 足球机器人视觉快速识别方法 |
CN101790048A (zh) * | 2010-02-10 | 2010-07-28 | 深圳先进技术研究院 | 智能摄像系统及方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7526100B1 (en) * | 2003-04-22 | 2009-04-28 | Advanced Optical Systems, Inc. | System for processing and recognizing objects in images |
JP2007251258A (ja) | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | 画像認識装置 |
GB2452512B (en) | 2007-09-05 | 2012-02-29 | Sony Corp | Apparatus and method of object tracking |
JP5083090B2 (ja) | 2007-09-18 | 2012-11-28 | ソニー株式会社 | 表示制御装置、撮像装置、表示制御方法およびプログラム |
KR20090067230A (ko) | 2007-12-21 | 2009-06-25 | 손승남 | 차량번호인식을 위한 카메라 제어방법 |
JP5202037B2 (ja) * | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
KR100926978B1 (ko) * | 2008-04-08 | 2009-11-17 | 삼성전자주식회사 | 영상 수집 제어 방법 및 장치 |
US8249331B2 (en) * | 2008-04-09 | 2012-08-21 | Applied Materials Israel, Ltd. | Method and system for evaluating an object |
KR101446779B1 (ko) * | 2008-07-09 | 2014-10-01 | 삼성전자주식회사 | 플래시 사용을 제한하는 촬영 제어 방법 및 장치 |
JP2010103949A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮影装置、方法およびプログラム |
KR101082878B1 (ko) | 2009-01-29 | 2011-11-11 | 연세대학교 산학협력단 | 홍채 영상 복원 방법 |
JP5249077B2 (ja) * | 2009-02-17 | 2013-07-31 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
US20110304765A1 (en) * | 2009-02-18 | 2011-12-15 | Yogo Takanori | Imaging apparatus |
KR101039423B1 (ko) | 2009-05-22 | 2011-06-07 | 한국인식산업(주) | 얼굴밝기 측정에 의한 카메라의 노출과 셔터스피드 제어방법 및 그 제어방법에 의한 카메라 장치 |
JP2011223296A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 撮像制御装置および撮像制御方法 |
KR101606727B1 (ko) * | 2010-06-25 | 2016-03-28 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
US8665355B2 (en) | 2010-11-22 | 2014-03-04 | Canon Kabushiki Kaisha | Image capture with region-based adjustment of contrast |
-
2011
- 2011-06-21 KR KR1020110060396A patent/KR101822655B1/ko active IP Right Grant
-
2012
- 2012-06-20 EP EP12172735.8A patent/EP2538660A3/en not_active Withdrawn
- 2012-06-21 US US13/529,688 patent/US9071749B2/en active Active
- 2012-06-21 CN CN201210212422.6A patent/CN102843513B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1716281A (zh) * | 2005-06-29 | 2006-01-04 | 上海大学 | 足球机器人视觉快速识别方法 |
CN101790048A (zh) * | 2010-02-10 | 2010-07-28 | 深圳先进技术研究院 | 智能摄像系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US9071749B2 (en) | 2015-06-30 |
US20120327269A1 (en) | 2012-12-27 |
EP2538660A2 (en) | 2012-12-26 |
EP2538660A3 (en) | 2016-10-12 |
KR101822655B1 (ko) | 2018-01-29 |
CN102843513A (zh) | 2012-12-26 |
KR20120140571A (ko) | 2012-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102843513B (zh) | 通过使用照相机识别目标的照相机装置以及方法 | |
JP5246275B2 (ja) | 撮像装置およびプログラム | |
EP2372654B1 (en) | Object tracking apparatus, object tracking method, and control program | |
CN106605236B (zh) | 用于捕捉图像的方法和图像捕捉装置 | |
EP2768214A2 (en) | Method of tracking object using camera and camera system for object tracking | |
JP4852652B2 (ja) | 電子ズーム装置、電子ズーム方法、及びプログラム | |
US7957633B2 (en) | Focus adjusting apparatus and focus adjusting method | |
US9477138B2 (en) | Autofocus | |
US20030099044A1 (en) | Autofocusing apparatus | |
US8731437B2 (en) | Focus adjusting apparatus and focus adjusting method | |
WO2016004819A1 (zh) | 一种拍摄方法、拍摄装置和计算机存储介质 | |
JPWO2012132129A1 (ja) | 撮像装置、撮像方法およびプログラム | |
KR102708591B1 (ko) | 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 | |
US11812144B2 (en) | Focus adjustment apparatus and method, and image capturing apparatus | |
US20140176786A1 (en) | Image capture apparatus and control method therefor | |
US12075151B2 (en) | Systems and methods for obtaining a smart panoramic image | |
CN101242494B (zh) | 数字拍摄装置和用于控制数字拍摄装置的方法 | |
CN116055844B (zh) | 一种跟踪对焦方法、电子设备和计算机可读存储介质 | |
US20100086292A1 (en) | Device and method for automatically controlling continuous auto focus | |
US9489721B2 (en) | Image processing apparatus, image processing method, and storage medium | |
EP3218756B1 (en) | Direction aware autofocus | |
JP2009239871A (ja) | 物体検知方法及びその装置 | |
US8588458B2 (en) | Image processing apparatus, image processing method, and program | |
US8643730B2 (en) | Imaging device and image capturing method | |
US20210337129A1 (en) | Control device, image capturing apparatus, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170922 Termination date: 20210621 |