CN113168696A - 参数选定装置、参数选定方法以及参数选定程序 - Google Patents

参数选定装置、参数选定方法以及参数选定程序 Download PDF

Info

Publication number
CN113168696A
CN113168696A CN201980081428.4A CN201980081428A CN113168696A CN 113168696 A CN113168696 A CN 113168696A CN 201980081428 A CN201980081428 A CN 201980081428A CN 113168696 A CN113168696 A CN 113168696A
Authority
CN
China
Prior art keywords
parameter
influence degree
parameter selection
object detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081428.4A
Other languages
English (en)
Inventor
笹谷聪
三木亮祐
伊藤诚也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN113168696A publication Critical patent/CN113168696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

在参数选定装置(50B)中,参数贡献率计算部(3)计算在物体检测装置(1B)检测测量装置的测量范围内的物体时所使用的算法中使用的参数对检测物体的检测精度产生的第1影响度。另外,解析项目贡献率计算部(5)计算用于达成用户需求的解析项目对物体检测装置(1B)检测出的物体的测量精度产生的第2影响度。参数选定部(8)基于第1影响度以及第2影响度来选定设为调整对象的参数。

Description

参数选定装置、参数选定方法以及参数选定程序
技术领域
本发明涉及物体检测装置以及物体检测方法。
背景技术
根据测量装置(以下,有时称为传感器)所取得的信息来检测物体的物体检测技术的需求变高,根据用户需求在多样的应用中灵活运用物体检测结果。例如,可列举作为监视目的的预定区域的闯入者检测、以人流或交通量分析为目的的物体的轨迹提取、物体数量的计数等。作为传感器,广泛利用监视照相机、距离传感器、激光雷达等。如果能够将传感器无遗漏地设置在适当的位置,则能够高精度地实现用户所需要的物体测量以及后段的应用。
但是,实际上由于成本原因、设置场所的环境等,所使用的传感器台数、物体检测的性能等受到限制,无法得到所期待的测量精度的情况较多。在这样的场景下,技术人员等前往现场,为了维持精度,需要花费时间来调整传感器的设置位置、姿势、视场角、在物体检测中使用的阈值等参数。鉴于这样的状况,近年来开发了自动地使传感器的参数最优化的技术,但是为了将大量的传感器的参数一并最优化,若考虑计算成本则不现实。因此,对于选定成为调整对象的参数的技术的期待较高。例如,在专利文献1中,自动选定与监视照相机的最佳的配置条件相关的参数并进行最优化。
现有技术文献
专利文献
专利文献1:日本特开2018-128961号公报
发明内容
发明要解决的课题
然而,在专利文献1中,选定监视照相机的配置条件使得能够用所需最小限度的照相机台数实现无死角的监视,由此能够高效地使参数最优化,但是无法将与物体检测中使用的阈值等相关的参数作为对象。另外,根据监视等用户需求来选定最佳的监视照相机的配置条件的参数,但是将监视照相机自身所保持的外部参数和内部参数全部统一地最优化,无法从中预先选定适于实现用户需求的参数。
本发明是为了解决上述课题而提出的,其目的在于,在从测量范围检测物体时,适当地选定每个测量目的的适于实现用户需求的调整对象的参数。
用于解决课题的方法
为了解决该课题,在本发明的一个例子中,参数选定装置具有:参数影响度计算部,其计算第1影响度,所述第1影响度是在物体检测装置检测测量装置的测量范围内的物体时使用的算法中使用的参数对使用所述算法检测所述物体的检测精度产生的影响度;解析项目影响度计算部,其计算第2影响度,所述第2影响度是用于达成用户需求的解析项目对由所述物体检测装置检测出的所述物体的测量精度产生的影响度;以及参数选定部,其基于所述第1影响度以及所述第2影响度,选定设为调整对象的所述参数。
发明效果
根据本发明,在从测量范围检测物体时,能够适当地选定每个测量目的的适于实现用户需求的调整对象的参数。
附图说明
图1是表示实施例1的物体检测装置的结构的功能框图。
图2用于说明处理块分解部的处理。
图3是表示参数贡献率计算部的结构的功能框图。
图4表示由测量精度变动量计算部计算出的测量精度的变动量的一例。
图5表示参数贡献率表的一例。
图6用于说明用户需求。
图7表示解析项目表及组合表的一例。
图8表示解析项目贡献率表的一例。
图9是表示实施例1的物体检测处理的流程图。
图10是表示实施例2的物体检测装置以及参数选定装置的结构的功能框图。
图11是表示实施例3的参数选定装置的结构的功能框图。
图12是表示实施例4的物体检测装置以及参数选定装置的结构的功能框图。
图13是表示用于实现实施例1~4的物体检测装置以及参数选定装置的计算机的结构的硬件图。
具体实施方式
以下,基于附图对本发明的实施例进行详细说明。在用于说明以下实施例的各附图中,相同参照编号表示相同或类似的结构或处理,并省略后面的说明。另外,在本发明的技术思想的范围内以及整合的范围内能够将各实施例以及各变形例中的一部分或全部进行组合。
实施例1
<实施例1的物体检测装置的结构>
图1是表示实施例1的物体检测装置的结构的功能框图。实施例1的物体检测装置1使用传感器信息200和传感器等测量装置中的测量目的等用户需求201,自动选定由传感器进行的物体检测中使用的参数。此外,在本实施例中,针对作为传感器使用立体照相机的情况进行了记载,但并不限于立体照相机,也能够应用TOF传感器、激光雷达等距离传感器、单眼照相机、监视照相机等其他传感器。
物体检测装置1具有处理块分解部2、参数贡献率计算部3、用户解析项目提取部4、解析项目贡献率计算部5、最优化处理块决定部6、参数选定部7、参数调整部8、物体检测执行部9以及解析执行部10。
处理块分解部2、参数贡献率计算部3、用户解析项目提取部4、解析项目贡献率计算部5、最优化处理块决定部6、参数选定部7、参数调整部8、物体检测执行部9的各功能部在具有运算装置、主存储装置以及外部存储装置的传感器或者与传感器分开准备的计算机中实现。
处理块分解部2将传感器信息200包含的传感器固有的测量算法分解为多个处理块。参数贡献率计算部3计算贡献率,该贡献率表示由处理块分解部2分解后的多个处理块各自使用的参数对传感器固有的测量算法的输出结果的精度有何种程度的影响。
用户解析项目提取部4从用户需求201中提取用户所需要的传感器的解析项目。解析项目贡献率计算部5计算解析项目对于由处理块分解部2分解后的各处理块的贡献率。
最优化处理块决定部6根据由用户解析项目提取部4从用户需求201提取出的解析项目的信息以及由解析项目贡献率计算部5计算出的解析项目对于各处理块的贡献率的信息,决定执行最优化处理的处理块。
参数选定部7将被最优化处理块决定部6决定为执行最优化处理的处理块中贡献率高的参数选定为最优化对象的参数。参数调整部8对由参数选定部7选定的参数进行调整,使得使用了传感器固有的测量算法的物体检测等的精度提高。
物体检测执行部9通过所指定的参数来执行物体检测。解析执行部10使用物体检测执行部9执行的物体检测的结果来执行与用户需求201对应的应用。
以下,对处理块分解部2、参数贡献率计算部3、用户解析项目提取部4、解析项目贡献率计算部5、最优化处理块决定部6以及参数选定部7的各功能的详细内容进行说明。
<处理块分解部的处理>
图2用于说明处理块分解部的处理。物体检测算法12例如是输出对来自立体照相机11的输入进行物体检测处理后的输出结果14的测量算法的一例。影像取得12a、畸变校正12b、视差计算12c、3维点群计算12d以及物体检测12e是将物体检测算法12进行分解后的各处理块的一例。
处理块分解部2从传感器信息200取得在物体检测中使用的立体照相机11的物体检测算法12,并分解为多个处理块。作为传感器信息200,为能够掌握物体检测的程序源等算法的详细内容的信息、物体检测中使用的传感器特有的SDK的信息、与物体检测有关的参数等。
图2表示将立体照相机11的物体检测算法12分解为多个处理块的一例。作为将物体检测算法12分割为多个处理块的方法,例如具有程序源中的每个函数或每个分类、使用的每个SDK等与装置的开发相关的分割方法、将使用算法开发者的见解、经验、解析工具等将算法细分后的各流程图作为处理块的分割方法等各种方法。
对各处理块进行说明。影像取得12a是控制立体照相机11来取得照相机图像的处理,使用表示图像取得频度的帧率、取得的图像的分辨率等参数13a。畸变校正12b是从影像取得12a取得的图像中去除照相机特有的镜头畸变的处理,例如具有使用焦距、畸变系数、图像中心这样的参数13b,与布朗(Brown)的镜头畸变模型进行拟合来去除畸变等一般的方法。
视差计算12c将通过畸变校正12b去除了镜头畸变的2张照相机图像进行比较,将差异度最小的一定大小的区域作为小区域,根据其搜索宽度计算视差。作为计算小区域的差异度的方法,例如有SAD(Sum of Absolute Difference:绝对差之和)、SSD(Sum ofSquared Difference:平方差之和)等方法。作为在视差计算12c中使用的参数13c,为小区域的尺寸、搜索宽度的最大值(最大搜索宽度)等。
在3维点群计算12d中,使用立体照相机11的设置位置、设置姿势等参数13d,基于以下的式(1)及式(2),从图像坐标依次变换为照相机坐标Xc、世界坐标Xw,由此导出世界坐标Xw的3维点群坐标。在以下的式(2)中,旋转矩阵R表示照相机的设置姿势,能够根据立体照相机11的摇摄(pan)、倾斜(tilt)以及滚动(roll)的角度来计算旋转矩阵R。另外,在以下的式(2)中,平移向量Xw表示立体照相机11的照相机高度等设置位置。
[数学式1]
Figure BDA0003107310180000051
其中,(u,v)为图像坐标,(u0,v0)为图像中心,b为基线长度,f为焦距,d为视差,pit为间距。
[数学式2]
xw=Rxc+t···(2)
其中,R为旋转矩阵,t为平移向量。
物体检测12e在对通过3维点群计算12d计算出的3维点群进行解析而求出的形状、体积等满足一定基准值的情况下判断并检测为物体。作为在物体检测12e中使用的参数13e,具有作为一定基准值的检测阈值、针对3维点群执行噪声去除等的校正处理次数等。
在本实施例中,将立体照相机11的物体检测算法12分割为5个处理块,但并不限定分割数量。另外,各处理块的处理内容、所使用的参数也不限于图2所示的处理内容和参数。
<参数贡献率计算部的结构>
图3是表示参数贡献率计算部的结构的功能框图。参数贡献率计算部3具有参数设定范围决定部20、测量精度变动量计算部21以及参数贡献率表生成部22。
参数设定范围决定部20取得在各处理块中使用的参数13a~13e,决定用于计算各参数13a~13e的贡献率的参数值的设定范围。测量精度变动量计算部21在使参数在参数设定范围决定部20取得的设定范围内变化时,基于从物体检测执行部9输出的物体检测的输出结果14来计算测量精度的变动量。参数贡献率表生成部22根据由测量精度变动量计算部21计算出的测量精度的变动量来生成表示参数贡献率的表。
以下,对各功能进行说明。参数设定范围决定部20将由处理块分解部2分解后的各处理块中使用的各个参数的初始值作为输入,针对每个参数决定在测量精度变动量计算部21中使用的参数的设定范围。作为向参数设定范围决定部20输入的初始值,例如具有用户设定的设定值或系统上的规定值、预定的算法中的自动推定值等。
在本实施例中,作为在影像取得12a、视差计算12c以及物体检测12e中使用的参数13a、13c、13e的初始值,使用由用户设定的系统上的规定值。另外,作为在畸变校正12b以及3维点群计算12d中使用的参数13b、13d的初始值,使用基于预定的算法的推定值。例如,作为参数13b的推定方法,使用Zhang的校准方法等,作为参数13d的推定方法,具有使用通过RANSAC算法检测出的平面信息的方法等。
另外,作为根据输入到参数设定范围决定部20的初始值来决定设定范围的方法,具有将初始值前后的预定范围内的值设为最小值以及最大值的方法等。在此,关于决定最小值以及最大值的方法,可以根据用户是否掌握了物体检测算法12的详细内容来进行切换。例如,在用户掌握了物体检测算法12的详细内容的情况下,可以基于过去的经验等来决定最小值和最大值,在用户没有掌握物体检测算法12的详细内容的情况下,可以根据SDK的规格信息等来调查并决定可设定的参数值。或者,也可以组合这两者的方法。没有特别限定用于决定最小值和最大值的方法。
另外,在本实施例中,使用离散的值来作为设定范围中包含的参数。例如,在为连续的参数的情况下,将设定范围的最小值与最大值之间分割为预定数量,生成离散值的参数。在为离散的参数的情况下,可以将可取的全部的值包含在参数的设定范围内等。
测量精度变动量计算部21使参数值在由参数设定范围决定部20输入的各参数的设定范围内变化,来计算物体检测执行部9的测量精度的变动量。在本实施例中,作为测量精度,使用在输入了已赋予真值的测试影像时的物体检测精度或者处理块独有的评价指标。
作为计算物体检测精度的方法,能够使用拍摄了检测对象并且对于全部的帧预先保持了知道对象区域的真值信息的测试影像,计算以百分率来表示通过所设定的参数值准确地检测出对象的帧数相对于全部帧数的比例的值,来作为物体检测精度。
在为视差计算12c的处理块的情况下,例如可以将处理块独有的评价指标设为以下的值,该值为使用比较容易计算视差的随机图案等来作为测试影像,以百分率来表示无法通过视差计算求出视差的无效视差的像素总数相对于整个图像的像素数的比例的值。
另外,例如可以将畸变校正12b的处理块独有的评价指标设为以下的值,该值为使用地面的区块等直线多的测试影像,以百分率来表示对执行了畸变校正后的图像应用直线检测算法而检测出的直线数量相对于测试影像中的直线数量的比例的值。
另外,例如在参数p的设定范围为0≤p≤9的10个整数值的情况下,将p以外的全部参数值固定为初始值,计算设为p=0、p=1、…p=9时的测试影像中的物体检测精度,并如图4所示那样计算物体检测精度的变动量来求出测量精度的变动量。图4表示由测量精度变动量计算部计算出的测量精度的变动量的一例。在图4中,示出了在p=2时测量精度取最大值的例子。
在通过测量精度变动量计算部21计算测量精度时,可以根据用户是否能够掌握各处理块的详细算法,对使用物体检测精度和处理块独有的评价指标中的哪一个进行切换,来作为测量精度。例如,对于能够掌握详细算法的处理块,分别准备适于评价处理块的独有指标的测试数据。对于无法掌握算法的处理块,可以在无法掌握算法的处理块之间共同使用与物体检测精度对应的测试数据,来计算测量精度。
参数贡献率表生成部22使用由测量精度变动量计算部21计算出的测量精度的变动量,生成每个处理块的参数贡献率表T1。参数对处理块的贡献率是指在处理块中表示各参数的重要性的指标,在测量精度变动量计算部21中使用的测量精度越高,判断为重要性越高。
作为根据测量精度的变动量计算参数贡献率的方法,例如有以下的方法:使参数变动时的测量精度的最大值越大,则判定为参数的贡献率越高,使用将各参数的最大值标准化为0至100的范围而得到的值来作为贡献率。或者,例如也可以是以下的方法等:将使用测量精度的最小值、平均值、方差值中的任意一个值或者组合了任意一个值的独有的指标等进行标准化而得到的值作为贡献率使用。参数贡献率表生成部22将针对每个处理块计算出的各参数贡献率存储在参数贡献率表T1中。
图5表示参数贡献率表的一例。图5所示的参数贡献率表T1存储在预定的存储部中,包含每个处理块的贡献率表T1a~T1e。参数贡献率表T1包含:贡献率表T1a,其存储影像取得12a中的各参数13a的贡献率;贡献率表T1b,其存储畸变校正12b中的各参数13b的贡献率;贡献率表T1c,其存储视差计算12c中的各参数13c的贡献率;贡献率表T1d,其存储3维点群计算12d中的各参数13d的贡献率;以及贡献率表T1e,其存储物体检测12e中的各参数13e的贡献率。
在本实施例中,通过图3所示的参数贡献率计算部3的结构来计算参数的贡献率,但只要是能够判定处理块内的各参数对测量精度的影响度的单元即可,没有特别限定。
<用户需求>
参照图6对用户需求201进行说明。图6用于说明用户需求。所谓的用户需求201包含用户为了达成主要目的而执行物体检测技术的应用的一览信息。
图6是在2维图30所示的立体照相机11的测量范围30A内,针对在与用户的主要目的相关联的设备31a、31b各自的周边设定的每个测量区域32a、32b,例示了用户想要执行的应用的一览表33。用户需求201包含2维图30及一览表33。
例如,在用户的主要目的是测量范围30A的整体监视的情况下,测量区域是整个2维图30,需要执行用于检测在图像中移动的人的运动物体检测等应用。另外,在用户的主要目的是整个测量范围30A的人流解析的情况下,测量区域是整个2维图30,需要执行人轨迹推定等应用。
另外,在用户的主要目的是掌握设备31a的利用率的情况下,在设备31a的周边设定测量区域32a,并执行测量区域32a内的人数计数、滞留时间测量等应用,由此能够解析设备31a的利用人数、利用时间。另外,在用户的主要目的是掌握设备32b的利用者特征的情况下,在设备31b的周边设定测量区域32b,并执行对存在于测量区域32b内的人的数量进行计数的区域内人数计数、人的性别判定、检测人持有手提包的手提包检测等应用,由此能够解析相对于全体人数的男女比率或手提包持有者的比率等。
图6的用户需求201只不过表示一个例子,并不限于此。另外,作为生成用户需求201的方法,如图6所示,具有以下的方法:用户使用GUI等在2维图30中设定测量区域,将希望针对整个测量范围或所设定的每个测量区域执行的应用登记在一览表33中来生成用户需求201。将2维图30和一览表33存储在预定的存储部中。但是,只要是能够掌握用户想要测量的范围以及想要执行的应用的信息以及方法,则没有特别限定。另外,关于主要目的,只要是能够掌握与测量区域对应的应用的抽象度的信息、或者是可转换为能够掌握与测量区域对应的应用的信息的信息即可,没有特别限定。
<解析项目表以及组合表>
使用图7,对用户解析项目提取部4的处理进行说明。图7表示解析项目表以及组合表的一个例子。图7的(a)示出了解析项目一览表40的一例,该解析项目一览表40表示从处理块分解部2分解后的各处理块提取的解析项目的一览。图7的(b)示出了应用与解析析目的组合表41的一例。根据图7的(a),在解析项目一览表40中具有“物体检测”、“追踪”、“位置测量”、“行动识别”、“图像识别”、“形状掌握”以及“尺寸测量”等解析项目。将解析项目一览表40和组合表41存储在预定的存储部中。
用户解析项目提取部4从用户需求201的信息以及预先生成的组合表41中提取为了实现用户所要求的应用而需要的解析项目。解析项目是在执行应用时,除了物体检测之外用于取得所需信息的解析技术(应用)。
例如,在组合表41中,应用“运动物体检测”是仅通过物体检测结果就能够实现的功能,因此“解析项目”为“无”。另外,例如,应用“滞留时间测量”利用物体检测的结果,因此除了物体检测以外,为了判定同一人存在于相同的位置,还需要物体的“追踪”以及“位置测量”的解析项目。如此,根据用户需求201中的用户的主要目的,能够掌握利用物体检测的结果的应用和与应用对应的解析项目。
例如,如图6的一览表33所示,在用户需求201中,在“主要目的”为“掌握测量区域31a的利用率”的情况下,需要执行的“应用”是“区域内人数计数”以及“滞留时间测量”。因此,用户解析项目提取部4参照组合表41,提取与“区域内人数计数”以及“滞留时间测量”这样的各个“应用”对应的“解析项目”即“位置测量”以及“追踪”。
关于“解析项目”,也可以使用图7的(a)的解析项目一览表40所示的解析项目以外的解析项目。另外,也可以根据测量范围与传感器的位置关系、精度方面等,将1个解析项目分割为多个。例如,在物体检测中,一般而言,当从照相机等传感器到对象的距离变远时,对象的信息量变少,或者中间存在障碍物的概率变高,检测精度降低。因此,具有将解析项目“物体检测”分割为“附近的检测”以及“远方的检测”的方法。另外,从安全或安全性方面等出发,存在需要信息粒度小于预定以及信息粒度为预定以上的位置信息的情况,因此,具有将解析项目“位置测量”分割为“粗略的位置测量”以及“高精度的位置测量”的方法等。
<解析项目贡献率表>
图8表示解析项目贡献率表的一例。图8是通过解析项目贡献率计算部5计算出解析项目对于畸变校正12b和3维点群计算12d的各处理块的贡献率的一例。作为解析项目对于各处理块的贡献率的计算方法,具有如下方法等:沿袭参数贡献率计算部3的方法,使用根据从解析执行部10输出的解析结果而求出的每个处理块的解析项目的精度的变动量来计算贡献率。在图8中,以将图7的(a)所示的解析项目“物体检测”细分为“附近的检测”以及“远方的检测”为前提。
以下说明用于计算解析项目“追踪”对各处理块的贡献率的方法。
首先,生成用于对“追踪”的技术进行评价的已赋予真值的测试影像。接着,仅在要求出解析项目“追踪”的精度的变动量的对象处理块内使参数变化,执行物体检测以及使用了物体检测结果的追踪。作为使参数变化的方法,具有依次使用在同一处理块中使用的参数的全部组合模式的方法等。最后,计算由于使参数变化而导致的追踪精度的变动量。追踪精度例如是以何种程度追踪了同一人等。能够将所有处理块的追踪精度的变动量与各处理块的追踪精度的变动量进行比较,来求出各处理块的追踪精度对于所有处理块的追踪精度变动的贡献率。
在要求出解析项目的精度的变动量时,在生成在处理块中使用的参数的组合模式时,可以通过不使用全部的参数而灵活运用参数设定范围决定部20(参照图3)的信息的方法等来削减组合数量。
另外,除了在本实施例中叙述的方法以外,只要是能够对解析项目的精度计算出各处理块的影响程度的方法,没有特别限定。
至此,如图8所示,示出了解析项目对于畸变校正12b和3维点群计算12d的各处理块的贡献率的计算方法,也可以同样地计算解析项目对于影像取得12a、视差计算12c以及物体检测12e的各处理块的贡献率。
如图8所示,用户解析项目提取部4将如上那样计算出的各解析项目对每个处理块的贡献率登记到解析项目贡献率表T2中。解析项目贡献率表T2存储在预定的存储部中,包含每个处理块的贡献率表T2a~T2e。解析项目贡献率表T2包含:贡献率表T2a(未图示),其存储了影像取得12a中的各解析项目的贡献率;贡献率表T2b,其存储了畸变校正12b中的各解析项目的贡献率;贡献率表T2c(未图示),其存储了视差计算12c中的各解析项目的贡献率;贡献率表T2d,其存储了3维点群计算12d中的各解析项目的贡献率;以及贡献率表T2e(未图示),其存储了物体检测12e中的各解析项目的贡献率。
返回到图1的说明。最优化处理块决定部6使用用户解析项目提取部4和解析项目贡献率计算部5的输出信息,将在用户需求201中所需的解析项目的贡献率最大的处理块决定为最优化处理块。例如,当在用户需求201中所需的解析项目仅为一个的情况下,具有选择相应的解析项目的贡献率最高的处理块的方法。
另外,在需要多个解析项目的情况下,具有选择将各个贡献率相乘而得到的值为最大的处理块的方法。例如,在图8中“附近的检测”和“追踪”为所需的解析项目时,将与这些解析项目对应的贡献率相乘而得到的值在畸变校正12b中为20×20=400,在3维点群计算12d中为60×30=1800。因此,与畸变校正12b相比,选择3维点群计算12d的处理块。由最优化处理块决定部6决定的处理块并不限于1个,当在多个处理块中解析项目的贡献率为相同值且为最大的情况下,可以将全部的处理块判定为最优化的对象。
参数选定部7在成为最优化对象的处理块中,选定由参数贡献率计算部3计算出的参数贡献率最高的参数作为最优化对象的参数。所选定的参数并不限于1个,例如也可以采用预先设定参数贡献率的阈值,将参数贡献率比阈值高的参数全部设为最优化对象的方法。
另外,在由最优化处理块决定部6输出了多个处理块的情况下,也可以采用以下的方法:将处理块的解析项目的贡献率与处理块内的参数贡献率相乘,将表示出比预先设定的阈值高的值的参数作为最优化对象。
例如,说明由最优化处理块决定部6输出的处理块是在图5以及图8中表示了表的畸变校正12b以及3维点群计算12d,从用户需求201提取的“解析项目”是“追踪”的情况。如果将畸变校正12b的与“追踪”相对的解析项目贡献率“20”与畸变校正12b的各参数贡献率相乘,则“焦距”为20×60=1200,“畸变系数”为20×30=600,“图像中心”为20×10=200。若同样地对3维点群计算12d进行计算,则“照相机高度”为30×60=1800,“倾斜角”为30×30=900,“滚动角”为30×10=300,“标尺”为30×20=600。因此,在预先设定的阈值为1000的情况下,将畸变校正12b的“焦距”和3维点群计算12d的“照相机高度”决定为最优化对象的参数。
<实施例1的物体检测处理>
图9是表示实施例1的物体检测处理的流程图。在用户指示的预定定时,由物体检测装置1执行实施例1的物体检测处理。
如图9所示,首先,在步骤S11中,处理块分解部2将传感器信息200中包含的传感器独有的测量算法分解为多个处理块。
接着,物体检测装置1对在步骤S11中分解后的全部处理块反复进行步骤S12~S14的循环处理。即,在步骤S12中,物体检测装置1选择在步骤S11中得到的1个处理块。接着,在步骤S13中,参数贡献率计算部3针对在步骤S12中选择出的1个处理块,计算各参数对于物体检测算法12的贡献率。接着,在步骤S14中,解析项目贡献率计算部5针对在步骤S12中选择出的1个处理块,计算各解析项目对于物体检测算法12的贡献率。
当步骤S14结束时,物体检测装置1在步骤S12中选择在步骤S11中得到的处理块中的未选择的处理块,针对选择出的该处理块执行步骤S13以及步骤S14的处理。另外,在步骤S14结束,当在步骤S11中得到的处理块中不存在未选择的处理块时,物体检测装置1将处理转移到步骤S15。
在步骤S15中,最优化处理块决定部6使用用户解析项目提取部4从用户需求201提取出的解析项目以及在步骤S14中解析项目贡献率计算部5计算出的各解析项目的贡献率,将在用户需求201中所需的解析项目的贡献率最大的处理块决定为执行最优化的最优化处理块。
接着,在步骤S16中,参数选定部7选定对于在步骤S15中由最优化处理块决定部6决定为执行最优化处理的处理块的贡献率高的参数作为最优化对象的参数。
接着,在步骤S17中,参数调整部8调整在步骤S16中选定的参数,使得物体检测精度、与解析项目对应的解析精度提高。
接着,在步骤S18中,物体检测执行部9使用在步骤S17中调整后的参数来执行物体检测。接着,在步骤S19中,解析执行部10使用在步骤S17中调整后的参数,使用步骤S18中的物体检测执行部9的物体检测结果来执行与用户需求201对应的应用。当步骤S19结束时,物体检测装置1结束实施例1的物体检测处理。
根据上述的实施例1,在从测量范围检测物体的物体检测装置1中,计算解析项目和参数对于将测量装置独有的算法进行分割后的各处理块的贡献率,针对每个用户需求201选定成为调整对象的参数。即,在执行满足用户需求201的应用时,选择为了实现该应用而需要的解析项目的贡献率高的处理块,并选择对于所选择的处理块的贡献率高的参数,由此能够适当地选定适合于达成每个测量目的的用户需求的调整对象参数。
实施例2
在实施例1中,如图1所示,示出了通过一体的物体检测装置1实现各功能的结构。但是,不限于此,如图10所示,实施例2的物体检测装置1B可以仅具有物体检测执行部9以及解析执行部10。作为其他装置的参数选定装置50B具有处理块分解部2、参数贡献率计算部3、用户解析项目提取部4、解析项目贡献率计算部5、最优化处理块决定部6、参数选定部7以及参数调整部8。而且,物体检测装置1B可以是使用由参数选定装置50B选定并调整后的参数来执行物体检测以及解析,输出物体检测结果信息202和解析结果信息203的方式。
实施例3
并且,在实施例3中,如图11所示,其他装置具有处理块分解部2、参数贡献率计算部3、解析项目贡献率计算部5,通过该其他装置预先执行这些处理功能,取得针对各处理块的解析项目贡献率信息204和参数贡献率信息205。在现场,可通过具有用户解析项目提取部4、最优化处理块决定部6、参数选定部7的参数选定装置50C,以用户需求201、参数贡献率信息205、解析项目贡献率信息204为输入,针对每个用户需求201高速地选定成为调整对象的参数。与实施例2的物体检测装置1B同样的物体检测装置使用由参数选定装置50C选定(或者选定以及调整)的参数来执行物体检测以及解析,并输出物体检测结果信息和解析结果信息。
实施例4
另外,在上述实施例1~3中,可以考虑处理成本来执行一系列的功能,将该实施例作为实施例4进行说明。例如,在图12中示出了针对图10所示的实施例2的包含参数选定装置50B以及物体检测装置1B的方式考虑了处理成本时的结构。
在图12中,容许处理成本取得部51根据用户需求201、物体检测装置1D的规格信息207,取得物体检测及其后级的解析应用所容许的处理成本。参数选定装置控制部52根据执行了物体检测执行部9、解析执行部10时的处理成本信息206和由容许处理成本取得部51取得的容许处理成本的信息,控制参数选定装置50B的各功能。
作为容许处理成本取得部51的输入例,具有现场容许的调整成本量和以实时和离线的哪一个方式对物体检测装置1D执行的应用进行处理这样的用户需求201、在物体检测装置1D中执行物体检测和其他应用的硬件的CPU、存储器的规格信息207等,作为处理成本的单位,可举出处理帧率(ms)等。
另外,作为参数选定装置控制部52的控制方法,具有如下方法:除了由参数贡献率计算部3导出参数贡献率时的参数的变化导致的测量精度的变动量以外,还计算处理成本的变动量,并反映到参数贡献率中。或者,具有考虑由最优化处理块决定部6决定的成为最优化对象的处理块数量、由参数选定部7选定的参数数量等处理成本来使参数变化的方法等,没有特别限定。
在选定参数时,选定考虑了在物体检测及其后级的解析应用中所容许的处理成本的参数,由此能够根据物理资源、性能使物体检测装置1D的处理高效化。
<变形例>
另外,通过将图1、图10以及图12所示的参数调整部8变更为自动地使参数最优化的功能,能够不进行现场的参数调整而推定可达成用户需求201的立体照相机11的参数。在需要设置大量传感器(立体照相机11等)的系统等中,能够大幅削减系统成本。
如上所述,在实施例1~4中,对与立体照相机的物体检测技术相关联的参数的选定方法进行了说明,但只要是执行物体检测的传感器即可,没有限定。并且,在实施例1~4中,能够以最终的物体检测精度为指标来计算对各处理块的参数贡献率、解析项目贡献率,因此例如即使在传感器独有的物体检测算法不明的情况下,只要是能够掌握SDK的信息、可设定的参数规格等的传感器,就能够针对每个用户需求选定成为调整对象的参数。因此,能够应用于使用了多种多样的传感器的物体检测装置,能够提高整个系统的通用性。
另外,在实施例1~4中,对与传感器的物体检测技术相关联的应用所涉及的参数选定方法进行了说明,但本发明的技术思想的应用对象不限于物体检测技术。例如,即使在将与物体跟踪技术关联的应用作为用户需求的情况下,也能够针对每个用户需求选定在物体跟踪技术中成为调整对象的参数。
图13是表示用于实现实施例1~4的物体检测装置以及参数选定装置的计算机结构的硬件图。在用于实现实施例1~4的物体检测装置以及参数选定装置的计算机5000中,以CPU(Central Processing Unit:中央处理单元)为代表的运算装置5300、RAM(RandomAccess Memory:随机存取存储器)等存储器5400、输入装置5600(例如,键盘、鼠标、触摸面板等)以及输出装置5700(例如与外部显示监视器连接的视频图形卡)经由存储器控制器5500相互连接。在计算机5000中,用于实现实施例1~4的物体检测装置或参数选定装置的程序经由I/O(Input/Output:输入/输出)控制器5200从SSD、HDD等外部存储装置5800被读出,并通过CPU5300以及存储器5400的协作来执行,由此分别实现实施例1~4的物体检测装置以及参数选定装置。或者,也可以通过经由网络接口5100的通信从外部的计算机取得用于实现实施例1~4的物体检测装置以及参数选定装置的程序。
本发明并不限于上述的实施例,包括各种变形例。例如,上述的实施例是为了容易理解地说明本发明而详细说明的实施例,并不限于必须具备所说明的全部结构。另外,能够将某实施例的结构的一部分置换为其他实施例的结构,另外,也能够在某实施例的结构中添加其他实施例的结构。另外,对于各实施例的结构的一部分,能够进行其他结构的追加、删除、置换、合并、分散。另外,实施例所示的各处理也可以基于处理效率或安装效率适当地分散或合并。
符号说明
1、1B、1D:物体检测装置;2:处理块分解部;3:参数贡献率计算部;4:用户解析项目提取部;5:解析项目贡献率计算部;6:最优化处理块决定部;7:参数选定部;8:参数调整部;9:物体检测执行部;10:解析执行部;11:立体照相机;12:物体检测算法;12a:影像取得、12b:畸变校正;12c:视差计算;12d:视差计算;12c、12d:3维点群计算;12e:物体检测;13a~13e:参数;T1:参数贡献率表;T1a~T1e:贡献率表;14:输出结果;20:参数设定范围决定部;21:测量精度变动量计算部;22:参数贡献率表生成部;30:2维图;30A:测量范围;31a、31b:设备;32a、32b:测量区域;33:一览表;40:解析项目一览表;41:组合表;50、50B、50C:参数选定装置;51:容许处理成本取得部;52:参数选定装置控制部;200:传感器信息;201:用户需求;202:物体检测结果信息;203:解析结果信息;204:解析项目贡献率信息;205:参数贡献率信息;206:处理成本信息;207:规格信息;5000:计算机;5100:网络接口;5200:控制器;5300:CPU;5400:存储器;5500:存储器控制器;5600:输入装置;5700:输出装置;5800:外部存储装置。

Claims (15)

1.一种参数选定装置,其特征在于,具有:
参数影响度计算部,其计算第1影响度,该第1影响度是在物体检测装置检测测量装置的测量范围内的物体时使用的算法中使用的参数对使用所述算法检测所述物体的检测精度产生的影响度;
解析项目影响度计算部,其计算第2影响度,该第2影响度是用于达成用户需求的解析项目对由所述物体检测装置检测出的所述物体的测量精度产生的影响度;以及
参数选定部,其基于所述第1影响度以及所述第2影响度,选定设为调整对象的所述参数。
2.根据权利要求1所述的参数选定装置,其特征在于,
所述参数选定装置还具有处理块分解部,该处理块分解部将所述算法分解为多个处理块。
3.根据权利要求2所述的参数选定装置,其特征在于,
所述处理块分解部根据所述算法的规格信息或与所述物体检测装置相关联的规格信息对所述算法进行分割。
4.根据权利要求2所述的参数选定装置,其特征在于,
所述参数影响度计算部针对在所述多个处理块的各个处理块中使用的每个参数,计算针对所述算法或各个所述处理块的所述第1影响度。
5.根据权利要求4所述的参数选定装置,其特征在于,
所述解析项目影响度计算部针对每个所述解析项目计算对于所述算法或各个所述处理块的所述第2影响度。
6.根据权利要求5所述的参数选定装置,其特征在于,
使用改变了所述参数时的所述算法的检测精度或所述处理块的输出结果的变动量,来计算所述第1影响度和所述第2影响度。
7.根据权利要求5所述的参数选定装置,其特征在于,
所述参数选定装置还具有最优化处理块决定部,该最优化处理块决定部将所述第2影响度满足第2预定条件的处理块决定为最优化处理块,
所述参数选定部将对于由所述最优化处理块决定部决定为所述最优化处理块的处理块的所述第1影响度满足第1预定条件的参数选定为最优化对象的参数。
8.根据权利要求1所述的参数选定装置,其特征在于,
所述参数选定装置还具有参数调整部,该参数调整部对所述参数选定部选定的参数进行调整,使得所述检测精度或所述解析精度成为预定以上的精度。
9.根据权利要求8所述的参数选定装置,其特征在于,
所述第1影响度和所述第2影响度是被事先计算出,
在所述物体检测装置检测所述物体时,所述参数调整部基于所述解析项目的信息、事先计算出的所述第1影响度以及所述第2影响度来调整所述参数。
10.根据权利要求1所述的参数选定装置,其特征在于,
所述参数选定部基于所述物体检测装置的处理成本来选定所述参数。
11.根据权利要求1所述的参数选定装置,其特征在于,
所述参数选定装置还具有用户解析项目提取部,该用户解析项目提取部从用户的测量目的提取所述解析项目。
12.根据权利要求11所述的参数选定装置,其特征在于,
所述解析项目对应于使用通过所述算法得到的物体检测结果的应用。
13.根据权利要求1所述的参数选定装置,其特征在于,
所述测量装置是单眼照相机、立体照相机、TOF传感器以及激光雷达中的任意一个。
14.一种由参数选定装置执行的参数选定方法,其特征在于,
所述参数选定方法包含:
计算第1影响度的参数影响度计算步骤,该第1影响度是在物体检测装置检测测量装置的测量范围内的物体时使用的算法中使用的参数对使用所述算法检测所述物体的检测精度产生的影响度;
计算第2影响度的解析项目影响度计算步骤,该第2影响度是用于达成用户需求的解析项目对由所述物体检测装置检测出的所述物体的测量精度产生的影响度;以及
参数选定步骤,基于所述第1影响度以及所述第2影响度,选定设为调整对象的所述参数。
15.一种参数选定程序,其特征在于,
所述参数选定程序使计算机作为参数选定装置发挥功能,
所述参数选定装置具备:
参数影响度计算部,其计算第1影响度,该第1影响度是在物体检测装置检测测量装置的测量范围内的物体时使用的算法中使用的参数对使用所述算法检测所述物体的检测精度产生的影响度;
解析项目影响度计算部,其计算第2影响度,该第2影响度是用于达成用户需求的解析项目对由所述物体检测装置检测出的所述物体的测量精度产生的影响度;以及
参数选定部,其基于所述第1影响度以及所述第2影响度,选定设为调整对象的所述参数。
CN201980081428.4A 2019-01-16 2019-12-05 参数选定装置、参数选定方法以及参数选定程序 Pending CN113168696A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-005448 2019-01-16
JP2019005448A JP7199974B2 (ja) 2019-01-16 2019-01-16 パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム
PCT/JP2019/047666 WO2020149044A1 (ja) 2019-01-16 2019-12-05 パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム

Publications (1)

Publication Number Publication Date
CN113168696A true CN113168696A (zh) 2021-07-23

Family

ID=71613780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081428.4A Pending CN113168696A (zh) 2019-01-16 2019-12-05 参数选定装置、参数选定方法以及参数选定程序

Country Status (3)

Country Link
JP (1) JP7199974B2 (zh)
CN (1) CN113168696A (zh)
WO (1) WO2020149044A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022096096A (ja) * 2020-12-17 2022-06-29 株式会社ティーアンドエス 映像配信方法及びそのためのプログラム
CN112634270B (zh) * 2021-03-09 2021-06-04 深圳华龙讯达信息技术股份有限公司 一种基于工业互联网的成像检测系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217615A (ja) * 2004-01-28 2005-08-11 Fuji Xerox Co Ltd 画像形成装置および画像形成方法
JP2006163614A (ja) * 2004-12-03 2006-06-22 Matsushita Electric Ind Co Ltd 画像処理装置、および画像処理方法
JP2008089574A (ja) * 2006-09-05 2008-04-17 Dainippon Screen Mfg Co Ltd 画像処理装置、データ処理装置、パラメータ調整方法、およびプログラム
JP2009296140A (ja) * 2008-06-03 2009-12-17 Ricoh Co Ltd 画像処理装置、プログラムおよび画像処理方法
CN102194129A (zh) * 2011-05-13 2011-09-21 南京大学 基于车型聚类的交通流参数视频检测方法
CN102555907A (zh) * 2010-12-06 2012-07-11 富士通天株式会社 物体检测装置以及物体检测方法
CN104050661A (zh) * 2014-05-29 2014-09-17 华中科技大学 面扫描三维测量系统精度的实时调整方法
US20140363070A1 (en) * 2013-06-06 2014-12-11 Canon Kabushiki Kaisha Image processing apparatus, tomography apparatus, image processing method, and storage medium
JP6188860B1 (ja) * 2016-04-13 2017-08-30 三菱電機株式会社 オブジェクト検出装置
JP2018005390A (ja) * 2016-06-29 2018-01-11 日産自動車株式会社 物体追跡方法及び物体追跡装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6471934B2 (ja) 2014-06-12 2019-02-20 パナソニックIpマネジメント株式会社 画像認識方法、カメラシステム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217615A (ja) * 2004-01-28 2005-08-11 Fuji Xerox Co Ltd 画像形成装置および画像形成方法
JP2006163614A (ja) * 2004-12-03 2006-06-22 Matsushita Electric Ind Co Ltd 画像処理装置、および画像処理方法
JP2008089574A (ja) * 2006-09-05 2008-04-17 Dainippon Screen Mfg Co Ltd 画像処理装置、データ処理装置、パラメータ調整方法、およびプログラム
JP2009296140A (ja) * 2008-06-03 2009-12-17 Ricoh Co Ltd 画像処理装置、プログラムおよび画像処理方法
CN102555907A (zh) * 2010-12-06 2012-07-11 富士通天株式会社 物体检测装置以及物体检测方法
CN102194129A (zh) * 2011-05-13 2011-09-21 南京大学 基于车型聚类的交通流参数视频检测方法
US20140363070A1 (en) * 2013-06-06 2014-12-11 Canon Kabushiki Kaisha Image processing apparatus, tomography apparatus, image processing method, and storage medium
CN104050661A (zh) * 2014-05-29 2014-09-17 华中科技大学 面扫描三维测量系统精度的实时调整方法
JP6188860B1 (ja) * 2016-04-13 2017-08-30 三菱電機株式会社 オブジェクト検出装置
JP2018005390A (ja) * 2016-06-29 2018-01-11 日産自動車株式会社 物体追跡方法及び物体追跡装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RADHAMADHAB DALAI, ET.AL: "Weight Estimation through Image Analysis", INTERNATIONAL JOURNAL OF COMPUTER TRENDS AND TECHNOLOGY (IJCTT), vol. 49, no. 2, pages 1 - 6 *
张静,等: "双目立体视觉测量的实现和结构参数选择", 机械设计与制造工程, vol. 47, no. 7, pages 1 - 5 *

Also Published As

Publication number Publication date
JP2020113202A (ja) 2020-07-27
JP7199974B2 (ja) 2023-01-06
WO2020149044A1 (ja) 2020-07-23

Similar Documents

Publication Publication Date Title
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US8751191B2 (en) Action analysis device and action analysis method
JP6368709B2 (ja) 3次元身体データを生成する方法
US10204423B2 (en) Visual odometry using object priors
US20150206004A1 (en) Object tracking method and device
US20090175500A1 (en) Object tracking apparatus
JP2022516055A (ja) 目標追跡方法、コンピュータプログラム、及び電子機器
JP2019062527A (ja) エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN110597387B (zh) 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN113168696A (zh) 参数选定装置、参数选定方法以及参数选定程序
EP3332388B1 (en) Temporally adaptive processing
US11741615B2 (en) Map segmentation method and device, motion estimation method, and device terminal
JP2015146526A (ja) 画像処理装置および方法、並びにプログラム
CN116958584B (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
JP7106296B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20240135552A1 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
JP2020170252A (ja) 画像処理装置、情報処理方法及びプログラム
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
CN106406507B (zh) 图像处理方法以及电子设备
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
JP7475959B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11610385B2 (en) Information processing apparatus, control method, and non-transitory storage medium
EP4383047A1 (en) An eye tracking system and a corresponding method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination