CN105849770B - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN105849770B
CN105849770B CN201480070577.8A CN201480070577A CN105849770B CN 105849770 B CN105849770 B CN 105849770B CN 201480070577 A CN201480070577 A CN 201480070577A CN 105849770 B CN105849770 B CN 105849770B
Authority
CN
China
Prior art keywords
image
specific shot
video camera
information processing
photographs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480070577.8A
Other languages
English (en)
Other versions
CN105849770A (zh
Inventor
吉田道学
虻川雅浩
村山修
羽藤淳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN105849770A publication Critical patent/CN105849770A/zh
Application granted granted Critical
Publication of CN105849770B publication Critical patent/CN105849770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

图像提取部(104)在摄像机(200)拍摄的摄影图像所包含的被摄体的图像中提取特定被摄体的图像。距离计算处理执行部(105)限定于由图像提取部(104)提取出的特定被摄体的图像执行距离计算处理，在该距离计算处理中使用摄影图像所包含的被摄体的图像计算从摄像机(200)到被摄体的距离。

Description

信息处理装置及信息处理方法
技术领域
本发明涉及对摄像机拍摄的摄影图像进行分析的技术。
背景技术
采用了HUD(Head Up Display：头戴式显示器)技术的车载设备的研发正在盛行，该HUD技术是在半透过的显示器上使信息叠加显示在风景上的技术。
并且，避免车辆的冲突和降低冲击的技术的研发也在盛行。
这些技术的目的在于，将车辆周围的状况通知给搭乘者，或者把握车辆周围的状况以控制车辆。
在这些技术中，需要利用传感器及摄像机三维地把握车辆周围的状况进行管理。
在把握车辆周围的状况时，往往利用实体模型(solid model)、表面模型(surfacemodel)、或者多个点(dot)来表现三维的信息。
在这些实体模型及表面模型等中，三维信息的信息量增多。
作为减少信息量的方法，可以考虑采用线框模型(wire frame model)等信息量较少的方式，而非实体模型和表面模型。
在对比文献1中采用了线框模型。
在对比文献1中公开了一种三维图像生成系统，其将摄影图像中的特征点设定处理及修补设定处理自动化且能够生成高图像质量的三维图像。
在该系统中检测对象物的特性，根据存储在数据库中的形状模型，自动提取三维模型的生成区域。
并且，对于提取出的生成区域，根据存储在数据库中的对象物的形状模型的特征点位置设定数据，自动设定特征点。
另外，通过对所设定的特征点自动生成基于模型的三角补丁，在对比文献1中的技术能够实现与实际的对象物的形状一致的线框表现，能够将三维模型生成处理中的各处理自动化。
现有技术文献
专利文献
专利文献1：日本特开2002－32742号公报
发明内容
发明要解决的问题
以往，作为表现立体的模型采用实体模型或者表面模型。
但是，在车载设备中需要将时时刻刻变化的状况实时地反映在模型中。
如以往那样采用实体模型或者表面模型构建三维模型，则存在处理负担重、不能将车辆周围的状况实时地反映在三维模型中的问题。
并且，在如专利文献1那样采用线框模型的情况下，也需要在生成线框模型之前分析摄影图像来计算车辆周围的物体(被摄体)与摄像机之间的距离的处理。
在包括专利文献1在内的采用线框模型的现有技术中，对摄影图像整体实施距离计算处理。
在摄影图像中虽然也包含不是线框模型的生成对象的物体的图像，但不完成对摄影图像整体的距离计算处理，就不能生成线框模型。
这样，为了进一步提高三维模型构建的实时性，需要使该距离计算处理高效化。
本发明正是鉴于这种情况而提出的，其主要目的在于，在三维模型的构建中使距离计算处理高效化。
用于解决问题的手段
本发明的信息处理装置的特征在于，该信息处理装置具有：图像提取部，其在由摄像机拍摄的摄影图像所包含的被摄体的图像中提取特定被摄体的图像；以及距离计算处理执行部，其限定于由所述图像提取部提取出的所述特定被摄体的图像执行距离计算处理，在所述距离计算处理中，使用所述摄影图像所包含的被摄体的图像计算从所述摄像机到被摄体的距离。
发明效果
在本发明中，限定于特定被摄体的图像执行距离计算处理，因而不需要等待对其它被摄体的距离计算处理的完成，能够使距离计算处理快速化，能够快速进行三维模型的构建。
附图说明
图1是示出实施方式1的信息处理装置的结构例的图。
图2是示出实施方式1的摄像机及传感器的配置例的图。
图3是示出实施方式1的传感器的扫描例的图。
图4是示出实施方式1的摄像机的摄影图像的示例的图。
图5是示出实施方式1的传感器的测距结果的示例的图。
图6是示出实施方式1的信息处理装置的动作例的流程图。
图7是示出实施方式1的摄像机的摄影图像与传感器的测距结果之间的关系的图。
图8是示出实施方式1中采用了识别范围的图像识别的概要的图。
图9是示出实施方式1中分阶段地扩大识别范围进行图像识别的方式的图。
图10是示出实施方式1中采用基于估计尺寸的识别范围进行图像识别的方式的图。
图11是示出实施方式1中提取对象被摄体的图像的处理的详细情况的流程图。
图12是示出实施方式1的物体的宽的长度的计算步骤的图。
图13是示出实施方式1中计算到最接近点的距离的处理的详细情况的流程图。
图14是示出实施方式1的最接近点及线框的图。
图15是示出实施方式1的三维模型的表的示例的图。
图16是示出实施方式2的信息处理装置的结构例的图。
图17是示出实施方式2的ID列表的示例的图。
图18是示出实施方式2的三维模型的表的示例的图。
图19是示出实施方式1及2的信息处理装置的硬件结构例的图。
具体实施方式
实施方式1
图1示出本实施方式的信息处理装置100的结构例。
本实施方式的信息处理装置100搭载于车辆(移动体)。
信息处理装置100从搭载于车辆的摄像机200取得摄影图像，从搭载于同一车辆的传感器300取得距离信息。
摄像机200及传感器300例如按照图2所例示的那样接近车辆的前部配置。
传感器300与摄像机200的摄影并行地进行摄像机200的摄影方向上的测距。
传感器300例如是LIDAR(LIght Detection and Ranging：光检测与测距)。
LIDAR例如按照图3所例示的那样沿水平方向进行激光扫描，在240度的较大的范围中以约0.4度的析像度测定到车辆周围的物体的距离。
基于LIDAR的距离取得仅是水平方向，但如果是其它类型的传感器(例如PMD(Photonic Mixer Device：光混频器件))，也能够取得高度方向上的距离。
在如LIDAR那样不能取得高度方向上的距离的情况下，通过摄像机200利用立体摄像机和/或运动立体(motion stereo)技术生成高度方向上的深度图(depth map)(三维图像)，能够取得高度方向上的信息。
下面，以传感器300是LIDAR为前提进行说明。
在信息处理装置100中，摄影图像取得部101取得由摄像机200拍摄的摄影图像。
摄影图像取得部101例如取得拍摄了图3中的前方车辆的后部而得到的图4的摄影图像400。
距离信息取得部102取得通过传感器300取得的表示到物体的距离的距离信息。
距离信息取得部102例如取得图5所例示的距离信息500。
距离信息500的同心圆的中心相当于传感器300的位置，各同心圆表示距传感器300的距离。
在图5的距离信息500中示出了与基于摄像机200进行的图4的摄影图像400的拍摄并行地、传感器300进行测距的结果。
即，如图3所示，来自传感器300的激光沿水平方向扫描前方车辆的保险杠部分，图5的距离信息500中的标号501的线表示图4的摄影图像400的前方车辆的保险杠部分的距离。
另外，图5的距离信息500用于示意性地表现传感器300的测距结果，并非表现与摄影图像400内的所有被摄体的距离。
一致点检测部103使摄影图像取得部101取得的摄影图像和距离信息取得部102取得的距离信息一致。
事先将摄像机200和传感器300校准，使得摄影图像400内的物体与测定出的距离相对应。
如前面所述，距离信息500中的标号501的线相当于摄影图像400的前方车辆的保险杠部分，一致点检测部103使标号501的线和摄影图像400的前方车辆的保险杠部分相对应。
图7示出了一致点检测部103的处理概念，示出传感器300计测到摄影图像400的前方车辆的保险杠部分的距离。
图7中用标号701示出的“××××”表示传感器300的激光照射到摄影图像400的前方车辆的保险杠部分的情况。
另外，图7是为了容易理解一致点检测部103的处理而绘制的图，并非一致点检测部103生成如图7那样的图像。
并且，在图1中，一致点检测部103通过摄影图像取得部101取得摄影图像，通过距离信息取得部102取得距离信息。
一致点检测部103具有与摄像机200的接口，并且在一致点检测部103具有与传感器300之间的接口的情况下，一致点检测部103既可以从摄像机200直接取得摄影图像，也可以从传感器300直接取得距离信息。
图像提取部104在摄影图像所包含的被摄体的图像中提取特定被摄体(作为线框的形成对象的被摄体，以下也称为对象被摄体)的图像。
在摄影图像400中，作为被摄体除前方车辆外，还包含树木，成为线框的形成对象的是前方车辆，因而图像提取部104在摄影图像400所包含的被摄体的图像中提取前方车辆的图像。
图像提取部104在提取对象被摄体的图像时，参照存储在摄像机规格存储部108中的摄像机规格。
在摄像机规格存储部108中存储有摄像机200的规格(焦距、F值、析像度等)。
距离计算处理执行部105计算与对象被摄体内的最接近点的距离。
最接近点是指在对象被摄体内与摄像机200最接近的点。
距离计算处理执行部105限定于由图像提取部104提取出的对象被摄体的图像，执行计算从摄像机200到被摄体的距离的距离计算处理。
在图4的示例中，图像提取部104在摄影图像400中提取前方车辆的图像，但距离计算处理执行部105限定于前方车辆的图像来执行距离计算处理。
距离计算处理例如是深度图(depthmap)处理。
以往是对摄影图像400整体进行深度图处理，导出到最接近点的距离。
即，以往是进行如下的深度图处理来导出到最接近点的距离：从摄影图像400的最上部分的左端扫描到右端，然后从下一部分的左端扫描到右端，以后反复同样的动作。
因此，以往对摄影图像400中的前方车辆以外的图像的深度图处理需要时间。
本实施方式的距离计算处理执行部105限定于由图像提取部104提取出的前方车辆的图像来进行深度图处理，因而能够缩短处理时间。
三维模型生成部106使用由距离计算处理执行部105计算出的到最接近点的距离等，生成基于线框的三维模型。
输出部107将由三维模型生成部106生成的三维模型输出给HUD等。
下面，参照图6的流程图说明本实施方式的信息处理装置100的动作例。
首先，摄影图像取得部101从摄像机200取得摄影图像400，距离信息取得部102从传感器300取得距离信息500(S601)。
接着，一致点检测部103检测摄影图像400和距离信息500的一致点(S602)。
即，一致点检测部103如图7所示使摄影图像400和距离信息500相对应。
接着，图像提取部104取得通过一致点检测部103而对应起来的摄影图像400和距离信息500，提取作为线框的形成对象的被摄体(前方车辆)的图像(S603)。
更具体地讲，图像提取部104如图8所示在摄影图像400上扫描矩形的识别范围800，提取车辆的图像。
在识别范围800中定义了车辆的后背面的轮廓(图8的虚线的形状)。
当在摄影图像400上扫描该识别范围800发现了与识别范围800的轮廓适配的图像的情况下，提取该图像作为车辆的图像。
作为S603的实现方法有以下两种方法。
第1方法是如图9所例示的那样利用试错法提取对象被摄体的图像的方法。
即，图像提取部104在任意尺寸的识别范围801中扫描摄影图像400，在未能提取到与识别范围801的轮廓适配的图像的情况下，图像提取部104在更大尺寸的识别范围802中进行扫描。
在图9的例子中，摄影图像400内的前方车辆的图像比识别范围802的轮廓大，因而不能提取到与识别范围802的轮廓适配的图像。
最终，能够在识别范围803中提取出摄影图像400内的前方车辆的图像。
第2方法是如图10所例示的如下方法，使用来自传感器300的距离信息预测与摄影图像400内的前方车辆的图像适配的识别范围803，在摄影图像400上扫描所预测的识别范围803，并提取前方车辆的图像。
关于该方法的详细情况，参照图11的流程图进行说明。
图像提取部104首先从摄像机规格存储部108读出摄像机规格(S6031)。
具体地讲，图像提取部104读出摄像机的镜头有无失真、摄影图像的尺寸、焦距、焦距下的摄影尺寸等。
接着，图像提取部104计算对象被摄体(前方车辆)的宽的长度(S6032)。
使用图12说明S6032的处理。
图12示意性地示出传感器300与前方车辆的保险杠部分之间的位置关系。
图12中的宽w0表示车辆的保险杠部分的实际的宽的长度，与图5及图7所示的前方车辆的宽w0(实际宽度)对应。
图12中的宽w0的右端(保险杠部分的右端)与传感器300之间的距离是L1，图12中的宽w0的左端(保险杠部分的左端)与传感器300之间的距离是L2。
角度α表示传感器300的正面方向和宽w0的右端的方向之间的夹角，角度β表示传感器300的正面方向和宽w0的左端的方向之间的夹角。
图像提取部104通过计算w0＝L1Sinα-L2Sinβ，能够得到宽w0的实际长度(例如1.5米等)。
接着，图像提取部104根据在S6032中得到的对象被摄体(前方车辆)的宽的长度、估计高度、摄像机规格，来决定识别范围803的尺寸(S6033)。
估计高度是车辆的估计车高，例如是2米。
其中，关于摄像机规格，假定(1)摄像机200的镜头没有失真，(2)摄像机200的摄影图像的尺寸是640×480，(3)摄像机200的焦距是f，(4)焦距下的摄影尺寸的横长是d1、纵长是d2。
在这种情况下，d1/640是焦距为f时的水平方向的每1像素的距离，d2/480是焦距为f时的垂直方向的每1像素的距离。
设水平方向的每1像素的宽为w1，如图12所示，设传感器300的正面方向(焦距的方向)的传感器300和宽w0(车辆的保险杠部分)之间的距离为L(L＝L2cosβ)。
图像提取部104根据d1/640：w1＝f：L，计算水平方向的每1像素的宽w1。
并且，图像提取部104还根据同样的比值计算，计算每1像素的高度。
并且，图像提取部104将宽w0除以每1像素的宽w1，将估计高度：2米除以每1像素的高度，由此决定识别范围803的尺寸。
接着，图像提取部104如图10所示在识别范围803中扫描摄影图像400(S6034)。
在提取出与识别范围803适配的图像的情况下，成功识别对象被摄体(S6035：是)，图像提取部104结束处理。
另一方面，在未能提取出与识别范围803适配的图像的情况下，未能识别对象被摄体(S6035：否)，因而图像提取部104扩大识别范围(S6036)，反复自S6034起的处理。
在S6036中，例如以既定的扩大率(扩大5％等)扩大识别范围。
将说明返回到图6的流程。
在提取出对象被摄体的图像时(S603)，接着图像提取部104计算对象被摄体(前方车辆)的宽和高(S604)。
在S603的处理是按照图10及图11的方式进行的情况下，由于已经计算出宽w0，因而图像提取部104仅计算对象被摄体的高度。
在图10及图11的方式中采用了估计高度：2米，但没有计算出对象被摄体(前方车辆)的准确高度，因而图像提取部104计算准确的高度。
具体地讲，图像提取部104对提取出的前方车辆的图像的高度方向上的像素数进行计数，将计数出的像素数与每1像素的高相乘，来计算前方车辆的高度。
在S603的处理是按照图9的方式进行的情况下，既不计算对象被摄体(前方车辆)的宽，也不计算高。
关于宽，图像提取部104按照前述的宽w0的计算方法(w0＝L1Sinα-L2Sinβ)计算宽的长度。
关于高，图像提取部104按照在图11的S6033的说明中示出的方法，计算每1像素的高度，对提取出的前方车辆的图像的高度方向上的像素数进行计数，将计数出的像素数与每1像素的高度相乘，来计算前方车辆的高度。
接着，距离计算处理执行部105计算到对象被摄体(前方车辆)内的最接近点的距离(S605)。
S605的处理的详细情况在图13中示出。
距离计算处理执行部105从图像提取部104取得由图像提取部104提取出的对象被摄体(前方车辆)的图像，并限定于对象被摄体(前方车辆)的图像进行深度图处理，计算从摄像机200到对象被摄体(前方车辆)内的最接近点的距离(S6051)。
接着，距离计算处理执行部105使用来自传感器300的距离信息，对在S6051中计算出的到最接近点的距离进行校正(S6052)。
通常，在深度图处理中不能高精度地计算距离，因而在此通过S6052的校正，高精度地求出到最接近点的距离。
另外，根据所要求的精度，也可以省略S6052的处理。
这样，通过S604判明对象被摄体(前方车辆)的宽和高，通过S605判明到对象被摄体(前方车辆)的距离(到最接近点的距离)。
三维模型生成部106从图像提取部104取得对象被摄体(前方车辆)的宽和高，从距离计算处理执行部105取得到对象被摄体(前方车辆)的距离(到最接近点的距离)，如图14所示形成基于线框的三维模型。
在图14中，x、y、z分别表示从摄像机200到最接近点的x轴上的距离、y轴上的距离、z轴上的距离，w和h分别表示对象被摄体(前方车辆)的宽和高。
三维模型生成部106例如将三维模型保存为图15那样的表。
图15的x(t-1)、y(t-1)、z(t-1)、h(t-1)、w(t-1)是根据在时刻t-1下的摄影图像计算出的x、y、z、h、w的值。
图15的x(t)、y(t)、z(t)、h(t)、w(t)是根据在时刻t下的摄影图像计算出的x、y、z、h、w的值。
这样，三维模型生成部106根据所取得的摄影图像实时地生成基于线框的三维模型。
如上所述，本实施方式的信息处理装置100使用来自搭载于车辆的摄像机200和传感器300的信息，取得到作为障碍物的对象被摄体的最接近点的距离(x，y，z)、表示对象被摄体的大小的四边形(w，h)。
并且，本实施方式的信息处理装置100用最接近点和线框来表现对象被摄体。
这样，本实施方式的信息处理装置100用最接近点和线框表现对象被摄体，因而能够得到计算量比实体模型及表面模型少的效果。
并且，本实施方式的信息处理装置100限定于对象被摄体的图像进行距离计算处理，因而能够缩短用于计算到最接近点的距离的时间。
并且，本实施方式的信息处理装置100通过按照图10及图11的方式进行对象被摄体的图像的提取处理，能够缩短用于提取对象被摄体的图像的时间。
实施方式2
在以上的实施方式1中用线框表现包围物体的四边形，但如果不需要表现物体的大小，则也可以用最接近点及该对象被摄体的ID(Identifier，识别符)进行表现。
图16示出本实施方式的信息处理装置100的结构例。
在图16中，与图1的结构相比，追加了ID列表存储部109。
ID列表存储部109存储图17所例示的ID列表。
在ID列表中记述了每个物体(在图17的例子中指人和车)的ID。
在ID列表中记述的ID是被摄体类别ID的示例。
与实施方式1的差异如下所述。
除以下方面以外，在本实施方式中也进行与实施方式1相同的动作。
在本实施方式中，图像提取部104在ID列表存储部109的ID列表中检索对象被摄体的ID，将对象被摄体的ID通知给三维模型生成部106。
图像提取部104例如在从摄影图像400中提取出车辆的图像作为对象被摄体的图像的情况下，根据图17的ID列表，将ID：2通知给三维模型生成部106。
图像提取部104在本实施方式中也作为ID通知部发挥作用。
三维模型生成部106根据从距离计算处理执行部105通知的到最接近点的距离和从图像提取部104通知的ID，生成由到最接近点的距离和ID构成的三维模型。
三维模型生成部106例如将三维模型保存为如图18那样的表。
在图15的表中管理h及w的值，而在图18的表中管理ID来取代h及w的值。
如上所述，在本实施方式中无需用线框表现物体的大小，因而能够得到进一步减少计算量的效果。
最后，参照图19说明实施方式1及2所示的信息处理装置100的硬件结构例。
信息处理装置100是计算机，能够用程序实现信息处理装置100的各要素。
作为信息处理装置100的硬件结构，运算装置901、外部存储装置902、主存储装置903、通信装置904、输入输出装置905与总线连接。
运算装置901是执行程序的CPU(Central Processing Unit：中央处理单元)。
外部存储装置902例如是ROM(Read Only Memory：只读存储器)和/或闪存、硬盘装置。
主存储装置903是RAM(Random Access Memory：随机存取存储器)。
摄像机规格存储部108和ID列表存储部109利用外部存储装置902或者主存储装置903实现。
通信装置904例如是NIC(Network Interface Card：网络接口卡)。
输入输出装置905例如是按键和按钮等和显示器等。
程序通常存储在外部存储装置902中，以加载于主存储装置903的状态依次被读入到运算装置901中并执行。
程序是实现作为图1及图16所示的“～部”(摄像机规格存储部108和ID列表存储部109除外，以下相同)而说明的功能的程序。
另外，在外部存储装置902中也存储有操作系统(OS)，OS的至少一部分被加载于主存储装置903，运算装置901执行OS，并执行用于实现图1及图16所示的“～部”的功能的程序。
另外，在实施方式1及2的说明中，表示作为“～判断”、“～判定”、“～提取”、“～检测”、“～扫描”、“～计算”、“～校正”、“～生成”、“～取得”、“～输出”等而说明的处理的结果的信息、数据、信号值和变量值，作为文件被存储在主存储装置903中。
并且，从摄像机200取得的摄影图像及从传感器300取得的距离信息被存储在主存储装置903中。
另外，图19的结构仅表示信息处理装置100的硬件结构的一例，信息处理装置100的硬件结构不限于图19所述的结构，也可以是其它的结构。
另外，通过实施方式1及2所示的步骤能够实现本发明的信息处理方法。
标号说明
100信息处理装置；101摄影图像取得部；102距离信息取得部；103一致点检测部；104图像提取部；105距离计算处理执行部；106三维模型生成部；107输出部；108摄像机规格存储部；109ID列表存储部；200摄像机；300传感器。

Claims (9)

1.一种信息处理装置，其特征在于，该信息处理装置具有：
图像提取部，其使用与摄像机的摄影并行地进行所述摄像机的摄影方向上的测距的传感器的测距结果，计算由所述摄像机拍摄的摄影图像所包含的被摄体中的特定被摄体的宽的长度，根据计算出的所述特定被摄体的宽的长度，估计所述摄影图像中的所述特定被摄体的图像的图像尺寸，并按照估计出的所述特定被摄体的图像尺寸进行所述摄影图像内的图像识别，从所述摄影图像中提取所述特定被摄体的图像；以及
距离计算处理执行部，其限定于由所述图像提取部提取出的所述特定被摄体的图像执行距离计算处理，在所述距离计算处理中，计算从所述摄像机到所述特定被摄体内最接近所述摄像机的最接近点的距离。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述图像提取部在按照所述图像尺寸进行所述摄影图像内的图像识别的结果是未能提取出所述特定被摄体的图像的情况下，按照比所述图像尺寸大的图像尺寸进行所述摄影图像内的图像识别，提取所述特定被摄体的图像。
3.根据权利要求1所述的信息处理装置，其特征在于，
所述信息处理装置还具有三维模型生成部，所述三维模型生成部使用由所述距离计算处理执行部计算出的从所述摄像机到所述最接近点的距离，生成基于线框的所述特定被摄体的三维模型。
4.根据权利要求3所述的信息处理装置，其特征在于，
所述距离计算处理执行部对由所述图像提取部提取出的所述特定被摄体的图像进行分析，计算所述特定被摄体的高度，
所述三维模型生成部使用由所述距离计算处理执行部计算出的从所述摄像机到所述最接近点的距离、由所述图像提取部计算出的所述特定被摄体的宽的长度、以及由所述距离计算处理执行部计算出的所述特定被摄体的高度，生成基于线框的所述特定被摄体的三维模型。
5.根据权利要求3所述的信息处理装置，其特征在于，
所述信息处理装置还具有ID通知部，该ID通知部将表示所述特定被摄体的类别的被摄体类别ID通知给所述三维模型生成部，
所述三维模型生成部使用由所述距离计算处理执行部计算出的从所述摄像机到所述最接近点的距离、和由所述ID通知部通知的被摄体类别ID，生成基于线框的所述特定被摄体的三维模型。
6.根据权利要求1所述的信息处理装置，其特征在于，
所述距离计算处理执行部执行深度图处理作为所述距离计算处理。
7.根据权利要求1所述的信息处理装置，其特征在于，
所述距离计算处理执行部执行深度图处理和使用所述传感器的测距结果对所述深度图处理的结果进行校正的校正处理作为所述距离计算处理。
8.根据权利要求1所述的信息处理装置，其特征在于，
所述图像提取部从由搭载于移动体的摄像机拍摄的所述移动体以外的被摄体的摄影图像中，提取所述特定被摄体的图像。
9.一种信息处理方法，其特征在于，该信息处理方法包括：
计算机使用与摄像机的摄影并行地进行所述摄像机的摄影方向上的测距的传感器的测距结果，计算由所述摄像机拍摄的摄影图像所包含的被摄体中特定被摄体的宽的长度，根据计算出的所述特定被摄体的宽的长度，估计所述摄影图像中的所述特定被摄体的图像的图像尺寸，并按照估计出的所述特定被摄体的图像尺寸进行所述摄影图像内的图像识别，从所述摄影图像中提取所述特定被摄体的图像，
所述计算机限定于提取出的所述特定被摄体的图像执行距离计算处理，在所述距离计算处理中，计算从所述摄像机到所述特定被摄体内最接近所述摄像机的最接近点的距离。
CN201480070577.8A 2013-12-26 2014-09-30 信息处理装置及信息处理方法 Active CN105849770B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-268350 2013-12-26
JP2013268350 2013-12-26
PCT/JP2014/076011 WO2015098222A1 (ja) 2013-12-26 2014-09-30 情報処理装置及び情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105849770A CN105849770A (zh) 2016-08-10
CN105849770B true CN105849770B (zh) 2019-04-26

Family

ID=53478102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480070577.8A Active CN105849770B (zh) 2013-12-26 2014-09-30 信息处理装置及信息处理方法

Country Status (5)

Country Link
US (1) US20160275359A1 (zh)
JP (1) JP6091658B2 (zh)
CN (1) CN105849770B (zh)
DE (1) DE112014005376T5 (zh)
WO (1) WO2015098222A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112014006876T5 (de) 2014-08-21 2017-05-18 Mitsubishi Electric Corporation Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm
JP6150950B1 (ja) 2015-11-20 2017-06-21 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
EP3415943A1 (en) * 2017-06-13 2018-12-19 Veoneer Sweden AB Error estimation for a vehicle environment detection system
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
JP6877636B2 (ja) * 2018-04-23 2021-05-26 日立Astemo株式会社 車載カメラ装置
SG10201902889VA (en) * 2019-03-29 2020-10-29 Nec Corp System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image
WO2020217377A1 (ja) * 2019-04-25 2020-10-29 三菱電機株式会社 移動量推定装置、移動量推定方法、および移動量推定プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311107B2 (ja) * 2003-08-08 2009-08-12 オムロン株式会社 三次元物体認識装置およびその設定方法
JP4946897B2 (ja) * 2008-01-31 2012-06-06 コニカミノルタホールディングス株式会社 距離計測装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195700A (ja) * 2000-01-14 2001-07-19 Matsushita Electric Ind Co Ltd 車両情報検出装置
EP1671216B1 (en) * 2003-10-09 2016-12-07 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
DE102009002626A1 (de) * 2009-04-24 2010-10-28 Robert Bosch Gmbh Sensoranordnung für Fahrerassistenzsysteme in Kraftfahrzeugen
DE112011104992T5 (de) * 2011-03-01 2014-01-23 Toyota Jidosha Kabushiki Kaisha Zustandsschätzvorrichtung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311107B2 (ja) * 2003-08-08 2009-08-12 オムロン株式会社 三次元物体認識装置およびその設定方法
JP4946897B2 (ja) * 2008-01-31 2012-06-06 コニカミノルタホールディングス株式会社 距離計測装置

Also Published As

Publication number Publication date
WO2015098222A1 (ja) 2015-07-02
US20160275359A1 (en) 2016-09-22
JPWO2015098222A1 (ja) 2017-03-23
JP6091658B2 (ja) 2017-03-08
DE112014005376T5 (de) 2016-08-11
CN105849770A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
CN105849770B (zh) 信息处理装置及信息处理方法
KR102145109B1 (ko) 지도 생성 및 운동 객체 위치 결정 방법 및 장치
CN108734742B (zh) 摄像头参数组算出方法、程序及装置
CN111566437B (zh) 三维测量系统以及三维测量方法
US20180307924A1 (en) Method and apparatus for acquiring traffic sign information
CN109690622A (zh) 多相机系统中的相机登记
US20180108143A1 (en) Height measuring system and method
JP4943034B2 (ja) ステレオ画像処理装置
CN101401443A (zh) 用于获得三维图像的cmos立体照相机
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
US9681118B2 (en) Method and system for recalibrating sensing devices without familiar targets
CN107101612A (zh) 一种目标距离测量方法及系统
CN113610933A (zh) 一种基于双目区域视差的原木堆垛动态检尺系统和方法
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
JP7475023B2 (ja) 移動体評価装置、移動体評価方法、およびプログラム
CN114422653B (zh) 一种书籍展平线激光快速标定方法及激光扫描仪
KR101842797B1 (ko) 3차원 신체 자세 분석 장치 및 방법
CN114359891A (zh) 一种三维车辆检测方法、系统、装置及介质
CN114879168A (zh) 一种激光雷达与imu标定方法及系统
JP2008217220A (ja) 画像検索方法及び画像検索システム
KR101475742B1 (ko) 사진 계측 장치 및 방법
JP7298687B2 (ja) 物体認識装置及び物体認識方法
JP2015001791A (ja) 画像解析装置
JP2004361094A (ja) 樹木のモデリング方法
KR101488947B1 (ko) 사진 계측 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant