CN103443823B - 拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法 - Google Patents

拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法 Download PDF

Info

Publication number
CN103443823B
CN103443823B CN201180065235.3A CN201180065235A CN103443823B CN 103443823 B CN103443823 B CN 103443823B CN 201180065235 A CN201180065235 A CN 201180065235A CN 103443823 B CN103443823 B CN 103443823B
Authority
CN
China
Prior art keywords
visual field
field ratio
image
application
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180065235.3A
Other languages
English (en)
Other versions
CN103443823A (zh
Inventor
山崎龙次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103443823A publication Critical patent/CN103443823A/zh
Application granted granted Critical
Publication of CN103443823B publication Critical patent/CN103443823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供拍摄图像识别装置,其能够使图像识别功能的性能充分发挥。视场比例估计单元(31)使用拍摄图像S1估计摄像机单元(20)的视场比例。候选应用选择单元(32)基于估计出的视场比例,从多个图像识别应用中选择能对现在的拍摄图像执行处理或优选的图像识别应用的候选。图像识别处理单元(40)从候选应用中执行由用户选择出的图像识别应用。由此,能够执行适于现在的拍摄图像的图像识别应用,因此能够充分发挥图像识别功能的性能。

Description

拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别 方法
技术领域
本发明涉及拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法,例如在监视摄像机系统、车载摄像机系统中进行的图像识别技术。
背景技术
近年来,作为支持人的视觉识别的技术,在多方面利用了基于电路的图像识别技术。例如,在监视摄像机系统中使用图像识别技术,进行混杂度的检测、侵入者的检测、侵入者的面部识别等。另外,在车载摄像机中,进行行车线检测、标识检测、步行者检测等。
另外,在近年来的摄像机系统中,随着用途的多样化,装载有许多功能。而且,还提出了从许多功能中选择与拍摄图像的状态相应的功能的摄像机系统。
例如,在专利文献1中公开的多摄像机系统中,根据由多个摄像机所得到的拍摄图像的状态,从多个功能中选择最合适功能。
具体而言,在2台摄像机的视场重合时,执行立体距离计量功能、立体物形状计量功能、全景图像生成功能、死角拍摄功能、人物行动分析功能中的至少一个功能。另一方面,在2台摄像机的视场没有重合的情况下,使用2台摄像机的各自的拍摄图像进行检测对象的检测。
这样,在以往的摄像机系统中有如下的摄像机系统,从所装载的多个功能中选择与拍摄图像的状态相应的功能来执行,从而能够执行最适合拍摄图像的处理。
现有技术文献
专利文献
【专利文献1】日本特开2009-77092号公报
发明内容
发明要解决的问题
但是,如上所述,在搭载有多个功能的摄像机系统中,为了得到高精度的执行结果,从多个功能中选择并执行与拍摄图像的状态相应的功能是非常重要的。
但是,在监视摄像机系统或车载摄像机系统中,在进行图像识别时,并没有充分研究从多个图像识别功能中选择哪一识别功能,就能够充分地灵活运用所装载的识别功能而得到高精度的识别结果。
特别是,近年来图像识别的技术研发出色,开发出非常多的图像识别技术,因此其中选择最合适的图像识别功能是重要的。但是,在利用人工选择最合适的图像识别功能时,需要专门的知识,普通的摄像机使用者难以充分发挥识别功能的性能。另外,并不是充分地研究对怎样的图像选择哪一识别功能的标准,因此即使具备专门的知识也未必能够充分发挥识别功能的性能。
本发明是考虑以上问题而完成的,其目的在于提供能够充分发挥图像识别功能的性能的拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法。
本发明的一个方式的拍摄图像识别装置包括:视场比例估计单元,其从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及图像识别处理单元,其执行选择出的所述候选应用中的至少一个候选应用,所述视场比例估计单元提取所述拍摄图像内的目标,基于摄像机的视场角、以及所述目标与所述摄像机的位置关系来估计所述视场比例。
本发明的一个方式的拍摄图像识别装置包括:视场比例估计单元,其从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及图像识别处理单元,其执行选择出的所述候选应用中的至少一个候选应用,所述视场比例估计单元具有根据所述拍摄图像检测人的人检测单元以及根据所述拍摄图像检测面部的面部检测单元,基于人检测结果及面部检测结果估计所述视场比例。
本发明的一个方式的服务器装置具有上述方式的拍摄图像识别装置。
本发明的一个方式的拍摄图像识别系统包括:具有存储有多个图像识别应用程序的数据库的服务器装置;以及与所述服务器装置网络连接的网络摄像机,所述服务器装置具备:视场比例估计单元,其从由所述网络摄像机拍摄到的拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;以及候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用,所述服务器装置将选择出的所述候选应用的信息提示给所述网络摄像机的用户,将由所述用户选择出的所述候选应用的程序发送给所述网络摄像机,所述视场比例估计单元提取所述拍摄图像内的目标,基于所述网络摄像机的视场角、以及所述目标与所述网络摄像机的位置关系来估计所述视场比例。。
本发明的一个方式的拍摄图像识别方法包括以下步骤:视场比例估计步骤,从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;候选应用选择步骤,从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及图像识别处理步骤,执行选择出的所述候选应用中的至少一个候选应用,在所述视场比例估计步骤中,提取所述拍摄图像内的目标,基于摄像机的视场角、以及所述目标与所述摄像机的位置关系来估计所述视场比例。
本发明的一个方式的拍摄图像识别方法包括以下步骤:视场比例估计步骤,从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;候选应用选择步骤,从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及图像识别处理步骤,执行选择出的所述候选应用中的至少一个候选应用,在所述视场比例估计步骤中,根据所述拍摄图像检测人和所述人的面部,基于人检测结果及面部检测结果估计所述视场比例。
发明的效果
根据本发明,能够提供充分发挥图像识别功能的性能的拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法。
附图说明
图1是表示从摄像机到拍摄对象为止的距离与视场比例的关系的图。
图2是表示将实施方式的结构与摄像机的视场比例以及拍摄图像关联表示的图,图2A是表示拍摄图像与视场比例的关系的图,图2B是表示实施方式的结构的方框图。
图3是表示摄像机的视场角、从摄像机到拍摄对象(目标)为止的距离以及视场比例之间的关系的图。
图4是用于说明拍摄图像识别系统的动作的流程图。
图5是表示设备资源状况的显示例的图,图5A是表示选择了1个图像识别应用时的设备资源状况的图,图5B是表示选择了2个图像识别应用时的设备资源状况的图。
图6是表示用于进行设备资源的状况显示的处理顺序的流程图。
图7是表示实施方式的网络结构例的方框图。
图8是表示实施方式的网络结构例的方框图。
图9是表示监视摄像机设置在接近监视区域的位置的处理例(图9A)、以及监视摄像机设置在远离监视区域的位置的处理例(图9B)的图。
标号说明
10 拍摄图像识别系统
20 摄像机单元
30 处理选择单元
31 视场比例估计单元
32 候选应用选择单元
40 图像识别处理单元
41 拥挤检测单元
42 人检测单元
43 动作识别单元
44 面部识别单元
45 视线估计单元
46 活动线路检测单元
47 穿着检索单元
48 性别年龄估计单元
49 表情估计单元
50 用户终端
51 显示单元
52 输入单元
60 变焦控制单元
100、300 服务器
200、400 网络摄像机
S1 拍摄图像
S2 适当处理推荐信息
α、α1 视场比例
具体实施方式
本发明的发明人着眼于如下情况:根据拍摄图像的不同,有适合于该拍摄图像的图像识别功能,也有不适合的图像识别功能。并且,本发明的发明人详细研究了怎样的拍摄图像适合怎样的图像识别处理。除此之外,本发明的发明人详细研究了对于拍摄图像选择应适用的图像识别功能的指标。
研究的结果是发现了如下情况:通过将拍摄图像中的目标尺寸相对于拍摄图像的视角尺寸的视场比例用作用于选择图像识别功能的指标,从而能够进行适于拍摄图像的图像识别处理。
本发明的一个特征在于,估计拍摄图像中的目标尺寸相对于拍摄图像的视角尺寸的比例,基于估计出的上述比例,选择图像识别应用的候选,执行从候选应用中选择出的图像识别应用。
另外,检测拍摄图像中的目标尺寸相对于拍摄图像的视角尺寸的比例的方法并没有特别限定,在以下的实施方式中,提示使用摄像机的视场比例作为上述比例的方法。这是着眼于如下的现象:如图1所示,一般而言,摄像机的视场角越大,则拍摄图像中的目标尺寸相对于拍摄图像的视角尺寸的比例越小,从摄像机到拍摄对象为止的距离越远,则拍摄图像中的目标的尺寸相对于拍摄图像的视角尺寸的比例越小。
另外,在以下的实施方式中,将识别对象的目标为人的情况作为例子进行说明,但目标也可以不是人,例如也可以是车辆或其他物体。
以下,参照附图详细说明本发明的实施方式。
[1]结构
图2是将本实施方式的结构与摄像机的视场比例以及拍摄图像P1-P5关联地示出的图。图2A是表示拍摄图像P1-P5与摄像机的视场比例的关系的图。图2B是表示本实施方式的结构的方框图。
从图2A可知,视场比例越大,则相对于拍摄图像的图像尺寸的拍摄图像中的目标尺寸(为图2的例子时,拍摄到的人的尺寸)越大。
图3示出摄像机的视场角、从摄像机到拍摄对象(目标)的距离以及视场比例之间的关系。从该图可知,若为同一视场角,则离摄像机的距离越近,则视场比例越大。
如图2B所示,本实施方式的拍摄图像识别系统10包括摄像机单元20、处理选择单元30、图像识别处理单元40、用户终端50以及变焦控制单元60。
图像识别处理单元40设置在服务器装置上。另外,图像识别处理单元40也可以设置在摄像机单元20上。处理选择单元30设置在服务器装置上。另外,处理选择单元30也可以设置在摄像机单元20或用户终端50上。
图像识别处理单元40保存有用于实现多个图像识别功能的多个应用程序(以下有时也将其简称为应用),执行用户从多个图像识别应用中选择出的图像识别应用。
在为本实施方式的情况下,图像识别处理单元40存储有进行拥挤检测、人检测、动作识别、面部识别、视线估计、活动线路检测、穿着搜索、性别年龄估计、表情估计的应用来作为图像识别应用,分别由拥挤检测单元41、人检测单元42、动作识别单元43、面部识别单元44、视线估计单元45、活动线路检测单元46、穿着检索单元47、性别年龄估计单元48、表情估计单元49来执行上述各应用。
各应用设定有适于动作的视场比例。所设定的视场比例预先根据实验或应用的特性等来决定。另外,合适的视场角比例根据摄像机的分辨率而变动,因此也可以根据摄像机的分辨率信息适当变更合适的视场比例。例如,即使如图2A的P2那样视场比例较低的情况下,若分辨率高,则也能够电子扩大人的面部,因此面部识别单元44的适当范围也可以向视场比例较低的方向扩展。
处理选择单元30选择可在图像识别处理单元40中执行的所述多个图像识别应用中的、能够对现在的拍摄图像适当执行的图像识别应用的候选,并将该候选应用提示给用户。
处理选择单元30将来自摄像机单元20的拍摄图像S1输入到视场比例估计单元31。视场比例估计单元31使用拍摄图像S1估计摄像机单元20的视场比例。在本实施方式的情况下,视场比例估计单元31进行人检测处理以及面部检测处理,基于检测出的人尺寸以及面部尺寸,估计视场比例。例如,能够基于拍摄图像S1的相对于视角尺寸的人尺寸以及面部尺寸,估计视场比例。具体而言,估计为相对于视角尺寸的人尺寸或面部尺寸的比例越小,则视场比例越小即可。
另外,视场比例的估计方法不限于此。例如,也可以进行人检测处理及面部检测处理,基于各检测处理的成功或失败的程度来估计视场比例。例如,估计为人检测的成功率越大则视场比例α越小,并估计为面部检测的成功率越大则视场比例α越大即可。
另外,也可以进行使用了多个尺寸不同的模板的人检测处理,基于各尺寸的检测处理的成功或失败的程度来估计视场比例。例如在使用了大、中、小三个尺寸的模板的情况下,估计为大尺寸下的成功率越高则视场比例越大,并估计为小尺寸下的成功率越高则视场比例越小。
另外,例如也可以视场比例估计单元31基于来自摄像机单元20的参数来估计视场比例。具体而言,能够利用图1所示的关系,根据摄像机的视场角的信息以及摄像机与目标的位置关系(距离)的信息求得视场比例。
估计出的视场比例α被发送到候选应用选择单元32。候选应用选择单元32基于视场比例α选择图像识别应用的候选。图像识别应用的候选指的是在可于图像识别处理单元40中执行的多个图像识别应用中的、能够对现在的拍摄图像适当执行的图像识别应用。
在图2中示出各图像识别应用适于哪一视场比例。在图中例子的情况下,示出了适于视场比例α1的图像识别应用处理为拥挤检测、人检测、动作识别以及活动线路检测。因此,候选应用选择单元32在视场比例为α1的情况下,选择拥挤检测、人检测、动作识别以及活动线路检测作为图像识别应用的候选。
另外,至此说明了摄像机的变焦倍率固定的情况,但变焦倍率可变的情况下,摄像机的视场角发生变动,因此视场比例也发生变动。图2中的表示视场比例的α1用直线表现,但为变焦倍率可变的摄像机的情况下,设α1为在左右具有相当于变焦范围的宽度的直线即可。
由处理选择单元30的候选应用选择单元32选择出的候选应用的信息作为适当处理推荐信息S2而被发送到用户终端50的显示单元51。由此,在显示单元51显示能够由图像识别处理单元40对现在的拍摄图像适当执行的图像识别应用的候选,用户能够从该候选中选择想要执行的图像识别应用。
另外,也可以是,候选应用选择单元32除了选择候选应用之外,还可以对选择出的候选应用进行排列来加以显示。即,也如图2所示那样,在各图像识别应用中存在能够执行该应用的视场比例区域即有效视场比例、以及能够在该有效视场比例中更适当地执行该应用的视场比例区域即适当视场比例。适当视场比例是有效视场比例范围内的一部分的视场比例范围。
候选应用选择单元32可以判断选择出的候选应用仅是可执行的应用还是可适当执行的应用,使其显示在显示单元51。例如,将仅是可执行的应用显示为“可利用的应用列表”,将可更适当地执行的应用显示为“适当应用列表”即可。
实际上,用户在观看显示在显示单元51上的图像识别应用的同时,选择所希望的图像识别应用,由输入单元52输入选择结果。被选择出的图像识别应用的信息被发送到图像识别处理单元40,图像识别处理单元40执行由用户选择出的图像识别应用。
另外,由用户选择出的图像识别应用的信息被发送到变焦控制单元60。变焦控制单元60控制变焦(焦点距离),以使摄像机单元20的视场比例变为对选择出的图像识别应用而言最合适。例如,在图2所示那样的视场比例α1下,由用户选择出拥挤检测作为图像识别应用的情况下,优选对拥挤检测而言视场比例比α1小,因此由变焦控制单元60进行变焦控制,以使视场比例(视场角)比当前小。
[2]拍摄图像识别系统的动作
接着,使用图4说明拍摄图像识别系统10的动作。
首先,在步骤ST11中摄像机单元20被初始设定。在步骤ST12中,由摄像机单元20进行拍摄。在步骤ST13中,由视场比例估计单元31估计视场比例α,在步骤ST14中,保存估计出的视场比例α。例如在视场比例估计单元31内设置存储器,在该存储器中保存该估计视场比例α即可。
另一方面,拍摄图像识别系统10在步骤ST21中起动图像识别选择处理。首先,在步骤ST22中,候选应用选择单元32从图像识别处理单元40获得图像识别应用的列表。图像识别应用的列表是指可由图像识别处理单元40执行的图像识别应用的列表。在为图2的例子的情况下,图像识别应用列表包括拥挤检测、人检测、动作识别、面部识别、视线估计、活动线路检测、穿着检索、性别年龄估计以及表情估计。
在步骤ST23中,候选应用选择单元32从图像识别应用列表中选择与现在的视场比例α相应的至少一个以上的图像识别应用,将其作为候选应用而显示在显示单元51上。例如,在图2的例子中,拍摄图像是以视场比例α1拍摄到的图像,在显示单元51显示能够执行拥挤检测、人检测、动作识别以及活动线路检测。
在步骤ST24中,由用户使用输入单元52选择图像识别应用。
在步骤ST25中,图像识别处理单元40为了执行由用户选择出的图像识别应用,经由网络从外部获得图像识别应用程序,或者,在预先保存有程序的情况下,将模块切换为选择出的图像识别应用程序。
在步骤ST26中,变焦控制单元60控制摄像机单元20的变焦,以变为对用户选择出的图像识别应用而言是最佳的视场比例。
在步骤ST27中,由摄像机单元20进行拍摄。
在步骤ST28中,图像识别处理单元40利用由用户选择出的图像识别应用进行图像识别处理。
[3]设备资源的状况显示
在此,优选在显示单元51除了显示候选应用之外还显示设备资源状况,以便能够做成为用户选择图像识别应用时的指标。
图5示出设备资源状况的显示例。图5A示出选择了1个图像识别应用时(例如选择了人检测时)的设备资源状况,图5B示出选择了2个图像识别应用时(例如选择了人检测和活动线路检测时)的设备资源状况。用户只要观看设备资源状况就得知设备资源的剩余量,因此能够作为选择图像识别应用时的指标。
图6示出用于进行设备资源的状况显示的处理顺序。另外,在图6中,与图4相同的处理标以相同的标号。图6的处理顺序是在图4的处理顺序上增加了步骤ST30、ST31、ST32。
在步骤ST30中,显示如图5所示那样的设备资源的状况。在步骤ST31中,判定执行在步骤ST24中选择出的图像识别应用所需要的资源的判定。通过例如候选应用选择单元32询问图像识别处理单元40(例如服务器)来进行该判定即可。在步骤ST32中,判断应用的选择是否完成,在没有完成的情况下(步骤ST32;否),返回到步骤ST30。在步骤ST30中,除了显示在上一次的步骤ST30中进行的资源之外,还增加了在步骤ST31中判定出的必要资源来进行设备资源状况显示。即,若在上一次的步骤ST31中进行的显示为图5A那样的显示,则在本次的步骤ST31中进行的显示是如图5B所示那样的显示。
[4]网络结构
接着,使用图7和图8说明拍摄图像识别系统10的优选网络结构。在此,在图7及图8中,与图2对应的部分标以相同标号而示出。
图7的网络结构是网络摄像机通过网络下载图像识别应用程序来使用的结构例。
图7的网络结构包括服务器100、与服务器100通过网络连接的网络摄像机(NW摄像机)200以及用户终端50。用户终端50既可以设置在网络摄像机200上,也可以设置在服务器100上,还可以与网络摄像机200及服务器100独立地设置。其中,在独立设置的情况下,需要与网络摄像机200建立连接。
服务器100包括候选应用选择单元32、用于存储图像识别应用程序的应用数据库(应用DB)101、适当处理推荐询问单元102、接收单元103以及发送单元104。
网络摄像机200包括摄像机单元20、视场比例估计单元31、图像识别处理单元40、发送单元201、接收单元202、下载应用存储单元(DL应用存储单元)203。
在由摄像机单元20得到拍摄图像S1后,由视场比例估计单元31估计视场比例α,该视场比例α经由发送单元201而被发送到服务器100。
服务器100经由接收单元103而接收视场比例α。候选应用选择单元32基于视场比例α选择图像识别应用的候选,将选择出的图像识别应用的候选发送到适当处理推荐询问单元102。适当处理推荐询问单元102将选择出的图像识别应用的候选显示在用户终端50的显示单元51上。另外,适当处理推荐询问单元102从用户终端50的输入单元输入由用户52选择出的图像识别应用的信息,将由用户选择出的图像识别应用程序经由发送单元104发送到网络摄像机200。
网络摄像机200由接收单元202接收图像识别应用程序,将其存储在下载应用存储单元203中。图像识别处理单元40使用下载到下载应用存储单元203中的图像识别应用程序来执行图像识别处理。
图8的网络结构是网络摄像机进行拍摄、剩余的处理大都由服务器进行的结构例。
在图8的结构中,网络摄像机400经由发送单元401,将由摄像机单元20得到的拍摄图像S1发送到服务器300。
服务器300由接收单元303接收拍摄图像S1,将其输入到视场比例估计单元31及图像识别处理单元40。由视场比例估计单元31估计视场比例α,由候选应用选择单元32选择与视场比例α相应的图像识别应用的候选。适当处理推荐询问单元302使选择出的图像识别应用的候选显示在用户终端50的显示单元51上。另外,适当处理推荐询问单元302从用户终端50的输入单元52输入由用户选择出的图像识别应用的信息,将该信息发送到图像识别处理单元40。图像识别处理单元40从应用数据库(应用DB)301读出由用户选择出的图像识别应用程序,使用该图像识别应用程序对拍摄图像S1实施图像识别处理。
[5]应用例
在此,说明能够应用本发明的结构实现的应用例(商业模式)。
在多个图像识别应用程序作为打包软件贩卖时,以往用户必须从打包软件中根据摄像机的设置状况等,自己选择认为合适的图像识别应用程序,进行图像识别的性能评价。此时,若用户选择错误的图像识别应用程序,则无法进行所设置的摄像机与准备好的图像识别应用程序的最佳组合下的图像识别的性能评价。
与此不同,若使用本实施方式的结构,则摄像机的用户只要购买包装有多个图像识别应用程序的打包软件,即使没有选择适合于摄像机的图像识别应用程序,也就能够由视场比例估计单元31及候选应用选择单元32选择适合于摄像机的图像识别应用程序。其结果是,能够进行使用了对当前的摄像机状态而言为合适的图像识别应用程序的性能评价。其结果是,例如预订了购买摄像机或图像识别应用程序的用户能够将适于该摄像机状态的性能评价作为购买的指标。
图9示出将本实施方式的处理应用于包括了拥挤度检测、活动线路检测、性别年龄估计的图像识别应用的打包软件的例子。
图9A示出监视摄像机设置在接近监视区域(拍摄区域)的位置上的情况。此时,基于视场比例选择活动线路检测和性别年龄估计的图像识别应用,执行这些图像识别应用。
图9B示出监视摄像机设置在远离监视区域(拍摄区域)的位置上的情况。此时,基于视场比例选择拥挤度检测和活动线路检测的图像识别应用,执行这些图像识别应用。
[6]效果
如上所述,根据本实施方式,设置有视场比例估计单元31、基于估计出的视场比例选择图像识别应用的候选的候选应用选择单元32、以及执行由用户从候选应用中选择出的图像识别应用的图像识别处理单元40,从而能够对用户提示适合现在的拍摄图像的图像识别应用,执行可靠的图像识别应用,并能够充分发挥图像识别功能的性能。
另外,上述实施方式的处理选择单元30能够由包含存储器、CPU的个人计算机等计算机构成。并且,能够通过CPU读取存储在存储器上的计算机程序来执行处理,从而实现构成处理选择单元30的各结构要素的功能。
2011年1月17日提交的日本专利申请特愿2011-006832号所包含的说明书、说明书附图和说明书摘要的公开内容全部引用于本申请。
工业实用性
本发明适合于对于通过例如监视摄像机、车载摄像机等摄像机得到的拍摄图像实施图像识别处理的情况。

Claims (10)

1.拍摄图像识别装置,其包括:
视场比例估计单元,其从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;
候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及
图像识别处理单元,其执行选择出的所述候选应用中的至少一个候选应用,
所述视场比例估计单元提取所述拍摄图像内的目标,基于摄像机的视场角、以及所述目标与所述摄像机的位置关系来估计所述视场比例。
2.拍摄图像识别装置,其包括:
视场比例估计单元,其从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;
候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及
图像识别处理单元,其执行选择出的所述候选应用中的至少一个候选应用,
所述视场比例估计单元具有根据所述拍摄图像检测人的人检测单元以及根据所述拍摄图像检测面部的面部检测单元,基于人检测结果及面部检测结果估计所述视场比例。
3.如权利要求1或权利要求2所述的拍摄图像识别装置,
在所述图像识别应用中分别设定有适当视场比例,
所述候选应用选择单元基于每个所述图像识别应用的适当视场比例、由所述视场比例估计单元估计出的视场比例来选择所述图像识别应用。
4.如权利要求1或权利要求2所述的拍摄图像识别装置,
所述候选应用选择单元考虑拍摄所述拍摄图像的摄像装置的变焦范围来选择所述图像识别应用。
5.如权利要求1或权利要求2所述的拍摄图像识别装置,
所述候选应用选择单元选择拥挤检测应用、人检测应用、动作识别应用、面部识别应用、视线估计应用、活动线路检测应用、穿着检索应用、性别估计应用、年龄估计应用、以及表情估计应用中的至少一个应用作为所述图像识别应用的候选。
6.服务器装置,其具有权利要求1或权利要求2所述的拍摄图像识别装置。
7.拍摄图像识别系统,其包括:
具有存储有多个图像识别应用程序的数据库的服务器装置;以及
与所述服务器装置网络连接的网络摄像机,
所述服务器装置具备:
视场比例估计单元,其从由所述网络摄像机拍摄到的拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;以及
候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用,
所述服务器装置将选择出的所述候选应用的信息提示给所述网络摄像机的用户,
将由所述用户选择出的所述候选应用的程序发送给所述网络摄像机,
所述视场比例估计单元提取所述拍摄图像内的目标,基于所述网络摄像机的视场角、以及所述目标与所述网络摄像机的位置关系来估计所述视场比例。
8.拍摄图像识别系统,其包括:
具有存储有多个图像识别应用程序的数据库的服务器装置;以及
与所述服务器装置网络连接的网络摄像机,
所述服务器装置具备:
视场比例估计单元,其从由所述网络摄像机拍摄到的拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;以及
候选应用选择单元,其从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和由所述视场比例估计单元估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用,
所述服务器装置将选择出的所述候选应用的信息提示给所述网络摄像机的用户,
将由所述用户选择出的所述候选应用的程序发送给所述网络摄像机,
所述视场比例估计单元具有根据所述拍摄图像检测人的人检测单元以及根据所述拍摄图像检测面部的面部检测单元,基于人检测结果及面部检测结果估计所述视场比例。
9.拍摄图像识别方法,其包括以下步骤:
视场比例估计步骤,从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;
候选应用选择步骤,从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及
图像识别处理步骤,执行选择出的所述候选应用中的至少一个候选应用,
在所述视场比例估计步骤中,提取所述拍摄图像内的目标,基于摄像机的视场角、以及所述目标与所述摄像机的位置关系来估计所述视场比例。
10.拍摄图像识别方法,其包括以下步骤:
视场比例估计步骤,从拍摄图像检测目标,并估计所述目标的尺寸相对于所述拍摄图像的尺寸的比例即视场比例;
候选应用选择步骤,从分别设定有适当视场比例的多个图像识别应用中,基于每个所述图像识别应用的所述适当视场比例和估计出的视场比例,选择与估计出的所述视场比例相对应的图像识别应用作为候选应用;以及
图像识别处理步骤,执行选择出的所述候选应用中的至少一个候选应用,
在所述视场比例估计步骤中,根据所述拍摄图像检测人和所述人的面部,基于人检测结果及面部检测结果估计所述视场比例。
CN201180065235.3A 2011-01-17 2011-12-21 拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法 Active CN103443823B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-006832 2011-01-17
JP2011006832A JP5834232B2 (ja) 2011-01-17 2011-01-17 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
PCT/JP2011/007163 WO2012098621A1 (ja) 2011-01-17 2011-12-21 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法

Publications (2)

Publication Number Publication Date
CN103443823A CN103443823A (zh) 2013-12-11
CN103443823B true CN103443823B (zh) 2016-08-17

Family

ID=46515274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065235.3A Active CN103443823B (zh) 2011-01-17 2011-12-21 拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法

Country Status (4)

Country Link
US (1) US9842259B2 (zh)
JP (1) JP5834232B2 (zh)
CN (1) CN103443823B (zh)
WO (1) WO2012098621A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックIpマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
CN102980517A (zh) * 2012-11-15 2013-03-20 天津市亚安科技股份有限公司 一种监控测量方法
KR102174470B1 (ko) * 2014-03-31 2020-11-04 삼성전자주식회사 영상 저장 시스템 및 방법
JP6313646B2 (ja) 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックIpマネジメント株式会社 画像認識方法、カメラシステム
CN104951749B (zh) * 2015-05-12 2018-07-20 三星电子(中国)研发中心 图像内容识别装置和方法
JP6751436B2 (ja) 2015-09-04 2020-09-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 自律走行車両へのアクセス及び運転制御
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
CN111343377A (zh) * 2018-12-19 2020-06-26 杭州海康威视系统技术有限公司 摄像机控制方法、装置、系统及存储介质
JP7259732B2 (ja) * 2019-12-23 2023-04-18 横河電機株式会社 配信サーバ、方法およびプログラム
JP7205457B2 (ja) * 2019-12-23 2023-01-17 横河電機株式会社 装置、システム、方法およびプログラム
JP2021182665A (ja) * 2020-05-18 2021-11-25 東日本電信電話株式会社 情報処理装置
CN112843694A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备
CN112839171B (zh) * 2020-12-31 2023-02-10 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0908846A3 (en) * 1997-10-07 2000-03-29 Canon Kabushiki Kaisha Moving object detection apparatus and method
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
JP4006415B2 (ja) * 2004-06-03 2007-11-14 キヤノン株式会社 撮影装置及びその制御方法並びに制御用プログラム
JP2006215116A (ja) * 2005-02-01 2006-08-17 Sharp Corp 撮影機能付表示装置、該装置の表示制御方法、表示制御プログラム、および該プログラムを記録した記録媒体
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
US8184157B2 (en) * 2005-12-16 2012-05-22 Siemens Corporation Generalized multi-sensor planning and systems
KR100975488B1 (ko) * 2006-02-21 2010-08-11 파나소닉 전공 주식회사 영상표시장치 및 영상표시장치의 영상왜곡 보정방법
JP4127297B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4984728B2 (ja) * 2006-08-07 2012-07-25 パナソニック株式会社 被写体照合装置および被写体照合方法
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP5088507B2 (ja) * 2006-12-27 2012-12-05 日本電気株式会社 同一性判定装置、同一性判定方法および同一性判定用プログラム
JP4655054B2 (ja) * 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
JP4804398B2 (ja) * 2007-03-30 2011-11-02 三洋電機株式会社 撮像装置及び撮影方法
JP2009003428A (ja) * 2007-05-18 2009-01-08 Sanyo Electric Co Ltd 映像表示装置および携帯端末装置
JP4979525B2 (ja) 2007-09-20 2012-07-18 株式会社日立製作所 マルチカメラシステム
DE112007003673B4 (de) * 2007-10-10 2020-10-29 Trimble Jena Gmbh Vermessungsvorrichtung zum Verfolgen und Vermessen eines Objekts
US20090208112A1 (en) * 2008-02-20 2009-08-20 Kabushiki Kaisha Toshiba Pattern recognition method, and storage medium which stores pattern recognition program
JP2009245100A (ja) * 2008-03-31 2009-10-22 Seiko Epson Corp 器官検出装置、器官検出方法、及びコンピュータプログラム
US20110134237A1 (en) * 2008-08-04 2011-06-09 Koninklijke Philips Electronics N.V. Communication device with peripheral viewing means
JP2010062942A (ja) * 2008-09-04 2010-03-18 Sanyo Electric Co Ltd 異常検知装置
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
JP2010279022A (ja) * 2009-04-30 2010-12-09 Sanyo Electric Co Ltd 撮像装置
CN101783936A (zh) 2009-05-12 2010-07-21 上海海事大学 一种网络图像或视频的存储方法
JP5517504B2 (ja) * 2009-06-29 2014-06-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5418061B2 (ja) * 2009-08-20 2014-02-19 沖電気工業株式会社 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
JP2011188065A (ja) * 2010-03-05 2011-09-22 Sony Corp 撮像制御装置、被写体検出方法、プログラム
JP4888579B2 (ja) * 2010-04-21 2012-02-29 パナソニック電工株式会社 視機能検査装置
US9262668B2 (en) * 2010-05-21 2016-02-16 Honeywell International Inc. Distant face recognition system
US8896667B2 (en) * 2010-10-25 2014-11-25 Aptina Imaging Corporation Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence

Also Published As

Publication number Publication date
US20130308825A1 (en) 2013-11-21
JP5834232B2 (ja) 2015-12-16
JP2012151547A (ja) 2012-08-09
CN103443823A (zh) 2013-12-11
US9842259B2 (en) 2017-12-12
WO2012098621A1 (ja) 2012-07-26

Similar Documents

Publication Publication Date Title
CN103443823B (zh) 拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法
CN110411441B (zh) 用于多模态映射和定位的系统和方法
CN108986164B (zh) 基于图像的位置检测方法、装置、设备及存储介质
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
CN103119627A (zh) 用于云辅助式扩增现实的可适应性框架
CN105163034B (zh) 一种拍照方法及移动终端
CN101271333A (zh) 移动机器人的定位方法
Wang et al. Computer vision-assisted 3D object localization via COTS RFID devices and a monocular camera
JP2017010527A (ja) 対象を追跡するための方法および装置
JP2011039974A (ja) 画像検索方法およびシステム
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN110795592A (zh) 图片处理方法、装置及设备
CN111144404A (zh) 遗留物体检测方法、装置、系统、计算机设备和存储介质
CN114500873A (zh) 跟踪拍摄系统
CN111429194A (zh) 用户轨迹确定系统、方法、装置及服务器
Myanganbayar et al. Partially occluded hands: A challenging new dataset for single-image hand pose estimation
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP2018186397A (ja) 情報処理装置、映像監視システム、情報処理方法及びプログラム
CN110728249A (zh) 目标行人的跨摄像机识别方法、装置及系统
KR101806066B1 (ko) 주차유도 기능이 구비된 카메라 모듈
CN110852770B (zh) 数据处理方法、装置、计算设备及显示设备
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
CN110567728B (zh) 用户拍摄意图的识别方法、装置及设备
CN110955879A (zh) 设备控制方法、装置、计算机设备和存储介质
JP2019160227A (ja) 情報提供システム、サーバ装置、及び情報提供方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant